Linaro CEO George Grey在现场展示HiKey 970
HiKey 970
自2017年, 搭载麒麟970的华为Mate 10系列及荣耀V10手机发布以来, AI逐渐成为智能手机的标配, 端侧AI的应用领域也开始成为业内热议的话题. 前不久, 由CSIA-ICCAD, 《中国集成电路》和摩尔精英联合主办的首场人工智能与半导体技术国际论坛在上海举行, 现场聚集众多专家学者与行业大咖, 共话 'AI芯片机遇与挑战' , 围绕人工智能关键技术与未来趋势, AI芯片等热点话题展开深入探讨.
华为无线终端芯片产品市场总监周晨到场参会并发表主题演讲, 介绍了麒麟970的在AI应用方面的性能, 为开发者带来的平台优势, 并探讨了关于端侧AI的现状与未来, 下面就来回顾下演讲内容.
关于AI芯片应用领域的那些事儿
AI芯片的应用领域业态
现在AI领域的业态大致分为专用和通用两个方向. 专用的应用场景非常确定, 要解决的问题也非常清楚, 例如城市监控与自动驾驶, 在这些领域做AI芯片是面向确定的场景去做具有针对性的芯片. 而通用的场景是不确定的, 以手机应用来说, 现在不知道明年会流行什么手机应用, 而且应用本身非常复杂, 不是通过纯粹的某一种运算去解决问题. 这也是这两种业态间的差异.
回到手机芯片, 手机芯片的竞争力体现在对于未知流行应用的支持能力. 端侧AI需要有能力去判断未知出现的应用, 而不是说适配好现在的应用就结束了. 应用在手机上的表现如何, 实际上取决于两年前芯片在设计时的预判.
AI应用跑在端侧的原因
端侧AI解决的两个核心问题是实时和隐私.
对于实时的需求, 实际上是人的本能. 如今, 人们发出的信息都希望能够得到实时的反馈, 这个需求实际上也是很多行业发展的源动力, 包括整个通信行业. 追溯到人类在原始社会的交流, 当时人们之间的眼神, 语言传递都是实时得到反馈的, 随着距离的拉长, 后来实时性开始受到影响, 这也是所有人, 包括整个通信行业不断追求更高速率, 更低时延的根本原因. 那么说到AI领域, 比如用摄像头做一个实时的应用, 如果将所有数据上传到云端, 在云端处理完再传回来, 这种处理时长带来的用户体验几乎是不可接受的.
另一个问题就是隐私. 大家是否愿意把所有东西都传到云端去?我们的手机现在就是一个内容生产工具, 每天都会产生大量的隐私信息, 这些数据与其放在别人那里, 不如放在自己口袋里, 这也是端侧AI非常重要的一点.
AI应用运转的基本原理
没有一个APP是单一负载的. 举例来说, 打开一个直播类带AI功能的应用, CPU至少有一两个线程在高负载工作;只要打开屏幕GPU就在进行图形渲染类的工作, 如果是AR应用, GPU的负载就会更大;如果打开摄像头, ISP和DSP也开始运转, 这些组件都在工作. 所以AI应用考虑的不止是加入一个专用硬件单元, 而是如何把所有资源在系统中进行调配, 让应用能够带给手机用户更好的体验.
在演讲中周晨表示, 虽然现在的AI应用还没有大范围普及在终端上, 但实际上已经有很多合作伙伴在共同努力, 很快就会有一大波基于AI的应用和体验出现在手机上, 让大家感受到AI应用可以覆盖到很多领域, 在原有领域里带来更多新的体验和能力的提升, 这方面有很多服务都在进行中, 大家可以期待.
麒麟970提升AI实力, 助力开发者创新AI应用
独立AI硬件处理单元, 麒麟970 AI运算力显著提升
手机芯片的升级是一个不断叠加的过程, 最好能在不增加任何面积的情况下, 用最佳的能效比来完成这件事, 而深度学习相关的运算负载非常高, 对性能的要求也较高. 麒麟970选择加入一个独立的专用硬件单元来处理AI运算, 通过加入体积较小的NPU实现100%的AI性能, 运算效率超过CPU和GPU. 通过对比麒麟970的GPU和NPU, 也能明显看出独立硬件确实能够起到更好的效果.
周晨表示, '从我们做芯片的角度来说, 提升算力是一个持续的工作, 也是我们的本分. 但更关键的是, 当我们把芯片算力做到位后, 需要有开发者在平台上把AI能力变成用户体验. 所以使能开发者对我们来说, 变得格外重要' .
麒麟970提供硬件支持, 助力开发者AI应用创新
对开发者来说, 最重要的是开发成本, 利益分享和知识产权.
开发成本是说开发者从一个平台到另一个平台的迁移成本, 算子是否够多以及开发工具是否好用, 文档和支持是否完善, 这些因素从某种程度上决定了开发者的成本. 其次, 开发者关心应用的利益分享. 他们可能看重平台的推广与应用的下载量, 或是开发出APP后在业内的知名度. 后, 开发模型是每一个算法开发者的知识产权, 保护知识产权是非常重要的事情. 而作为一个平台, 这些都是必须要考虑的问题.
去年, 华为推出了HiAI移动计算平台并面向开发者进行开放. 据介绍, 这个平台上层考虑的是5-6种AI应用如何接入HiAI平台, 下层是相应的模型管理能力. 此外, HiAI的离线模式更适合端侧AI性能的发挥, 从文件中加载离线模型, 计算时每一次推理只需要把用户数据从DDR到NPU导入导出一次就可以运行, 是一种非常高效的模式.
据了解, 在去年推出的HiAI V100版本基础上, 华为很快会推出V150版本, 将支持更多框架与API, 算子更多, 开发工具得到进一步提升, 文档与支持也更加完善. 这些都是希望能够降低开发者成本, 让开发者能在熟悉的环境内进行调试, 开发出更多全新的AI应用.
在演讲最后, 华为也表示, '我们希望能够把HiAI开放平台应用于更大的范围, 让不同领域不同场景都能够用到AI的力量. 在这个背景下, 我们会考虑推出一款开发板, 应该说是目前业界最早把AI运算能力做到小型端侧的开发板, 也希望能够带给开发者更多选项, 希望看到开发者获得更多AI能力的同时, 带来更多AI应用的落地. 我们做手机芯片平台, 本质上是做好黑土地, 提供养分充足的土壤, 而Mobile AI应该是百花齐放的样子, 这才是我们期待看到AI这个产业大面积落地, 推广到每一个人身边真正的样子' .
据悉, HiKey 970将于4月中旬面向开发者公开发售, 为开发者提供更加强大的开发工具, 以期让开发者创造出更多全新的AI应用, 不断完善AI应用生态的搭建. 相信在不久的将来, AI将在手机上发挥更大的潜能, 带来更多新鲜, 有趣的智慧体验.