目前, 高通正积极在智能手机, 物联网, 智能汽车等领域推进其终端AI策略, 同时加速AI创新技术的研发, 构建AI生态. 在高通近日举办的人工智能峰会上, 相关部门的负责人分享了高通技术在支持AI方面的发展策略, 进展以及用例, 呈现出高通在AI领域的全景图.
智能手机AI关注视觉, 语音, AR三方面
作为移动通信领域的巨人, 高通在推动移动通信技术, 智能终端发展上做出了巨大贡献. 历经十余年的发展, 尽管智能手机市场的增速正在放缓, 但随着物联网, 5G等时代的到来, 智能手机的核心位置再一次凸显.
预计在2018-2022年, 智能手机累计出货量将超过86亿部. 这意味着AI技术在智能手机领域的广泛应用有着广阔的空间. 智能手机是人工智能进行相关创新的最大平台. 如今, 手机厂商在AI领域的厮杀热度已经可以说明这一点.
据高通产品管理总监Gary Brotman介绍, 在智能手机AI领域, 高通重点关注三个方面:
一是视觉AI领域. 从目前手机厂商应用AI的情况看, 视觉方面的AI最多, 如面部识别, 解锁, 支付, 以及智慧摄像, 美颜等等, 一方面视觉AI技术相对成熟, 另一方面, 手机用户在这方面的体验需求较高.
二是AI语音, 利用声音与智能终端交流对话, 更好的互动.
三是增强现实 (AR) , 该领域对终端密集计算能力要求较高. 通过AR, 利用周围的环境, 实现智能手机上所有传感器的共同支持, 以虚拟和现实融合的方式, 即时提供娱乐, 教育和提醒服务等.
近三年, 基于智能手机端的AI平台, 高通已经推动AI技术演进了三代. 在这一过程中, 随着AI算法架构的不断进化, 平台的功能和能力也随之变得丰富和强大, 同时高通也在逐步构建AI生态的开放性.
第一代AI平台是骁龙820. 研究人员和商业开发者可在CPU上运行神经网络, 比较典型的就是运行Caffe. Caffe是当时最主流的架构, 是商用领域很多相关研发的基础, 可以直接把神经网络训练放在终端的CPU上进行.
第二代是骁龙835, 引入了神经处理引擎SDK. 通过与Google和Facebook的深入合作, 针对两者提供的框架进行了优化, 在终端侧支持TensorFlow和Caffe2. 这给予了开发者极大的便利, 可以根据自己的需要, 选择合适的硬件内核支持AI运算.
去年12月, 在高通推出的骁龙845上, 集成了第三代AI技术, 对每一颗内核的计算能力都进行了扩展, 同时也扩展了对于更多神经网络框架的支持. 一方面, 通过直接与神经网络框架供应商合作; 另一方面, 也支持了ONNX交换格式, 能轻松地为开发者提供更多灵活性, 无需担心底层硬件支持何种网络的问题.
高通人工智能引擎AI Engine由一系列硬件与软件组件组成, 旨在让终端侧AI为开发者带来高能效和灵活性. 硬件上, 通过对CPU, GPU和DSP进行优化, 可以满足不同AI应用场景对功耗, 神经网络, 工作负载和能效的需求.
在软件方面, 通过SDK, 可以支持Android NN环境, 它还支持Hexagon NN, 如果开发者选择使用Hexagon DSP来做开发, Hexagon NN库就可以专门针对某一内核进行优化以实现最优的能效比. 所有这些为开发者以及客户带来极大的灵活性, 并有助于他们实现性能最大化.
从行业来看, 目前只有海思的麒麟750单独设置了AI单元NPU, 而高通, 联发科仍采用分布式计算的方式. Gary Brotman认为, 智能手机AI体验不能仅仅依靠一个特定的内核, 更重要的是需要多种架构, 多种工具, 目前分布式架构能够充分应对智能手机对于AI功能的需求.
AI语音个人助理: 变革性用户交互界面
人工智能的很多重要用例都需要各方面能力的支持, 在视觉AI成熟之后, AI的下一步被认为是AI语音, 个人数字助理也成为重要用例之一, 如手机端的语音助手, 智能音箱等等.
在高通人工智能研究项目负责人兼工程技术高级总监侯纪磊看来, 实时是个人助理很重要的特性, 以随时为用户提供服务. 从能效的角度看, 个人助理始终在线的特点对模型的高效性有非常高的要求. 在个性化方面, 如何在听觉, 意图和行为的层面提供非常个性化的服务, 也是个人助理对个性化方面的重要需求. 在学习方面, 我们希望个人助理不断了解个人行为, 不断调整模型, 并在终端侧进行学习和训练. 从系统架构来看, 情景感知是人工智能助理的重要特性, 而推动传感器多模态学习和多模态融合, 是其未来能力体现的重要角度.
语音交互是个人助理非常重要的关键部件. 语音是我们一直期待的变革性用户交互界面, 尤其是在hands-free (不使用手去触及终端) 的应用场景中. 语音界面对于打造真正的虚拟助理非常重要. 语音交互界面可以支持四个非常重要的特性. 第一, 始终开启, 需要始终在线, 始终准备好提供服务. 第二, 对话式, 个人助理不是死记硬背一些命令, 而是能够进行非常自然和流畅的, 多轮次的正常交流. 第三, 个性化, 个人助理如何识别词句, 并清晰理解意图, 这也是语音交互界面非常重要的一个方面. 第四, 私密性, 不用把数据传到云端, 而是在终端进行很多处理, 也是语音交互界面将来发展的一个重要的方向.
其实, 语音交互作为一个研究方向, 已经存在了超过50年的时间, 为什么最近几年突然变得火爆? 侯纪磊指出, 在大概20多年前, 机器学习的方式还是传统的机器学习, 而不是今天说的深度学习, 那时通过高斯混合模型, 已经能够达到一定的性能指标. 而随着深度学习的出现和挖掘, 卷积神经网络和递归神经网络不断被应用到语音交互界面场景, 出现了一个非常重要的趋势是: 语音识别的性能指标将很快接近甚至超越人类的准确率.
'当这个重要的阈值被突破, 很快大量消费类, 企业类, 工业类等语音交互应用场景和商业模式会被挖掘出来. ' 候纪磊说.
另一个非常重要的趋势是, 语音交互功能正从云端向终端侧快速迁移. 今天, 从商用而非研发层面看, 语音交互还更多是一个以云端为中心的架构. 即使在这种情况下, 出于对低功耗, 实时的考虑, 语音交互所需的一些功能如语音降噪和语音激活都已经在终端侧进行处理. 从云端到终端侧的迁移是一个渐进的过程, 很快包括语音识别, 自然语言理解以及文字转语音 (TTS) 在内的更多功能会逐步演进到以终端侧为中心. 由机器学习驱动的端到端解决方案正在推动语音交互向终端侧迁移的趋势. 候纪磊表示, 语音交互由云端向终端演进在于隐私, 及时响应等优势. 而未来语音交互长远的发展方向应该是云端跟终端紧密结合. 模型训练, 模型更新, 知识库应用以及一些更宽泛的服务, 在云端进行处理可以跟终端进行更好的互补.
AI为物联网与智能汽车带来的机遇与挑战
如今, 许多支持终端侧人工智能的物联网终端已经推出市场, 包括智能扬声器, 智能助理, 智能摄像头, 家居枢纽, 智能吸尘器等等. 例如, 在家居枢纽中, 智能扬声器和智能助理应用了语音智能. 在联网摄像头中应用了图像分类, 物体分类和面部识别. 在机器人方面, 例如智能吸尘器应用了躲避障碍. 总体而言, 终端侧人工智能正迅速发展, 为物联网提供强劲的动力.
高通资深产品经理Shardul Brahmbhatt介绍, 高通的技术支持面向物联网的终端侧人工智能用例, 总体来说分为三大类: 视觉, 音频和传感器处理.
Brahmbhatt介绍了两个用例, 一是在企业级安防领域, 利用人物检测, 面部识别和面部检测来识别, 评估进入公司大楼的员工和非员工, 以确保安防系统的预警信号在终端侧就可以被发送出去, 而不用再回到云端进行处理. 另一个用例是智慧城市. 在这个用例中, 终端侧人工智能可以帮助进行车牌识别, 碰撞事故预警, 以及交通状况监测等.
今天, 无论是传统车厂, 或很多新的互联网公司, 以及很多新兴独角兽企业都希望能够掌握未来汽车市场. 关于汽车的未来, 高通确定了三大方向. 第一, 使汽车与万物互联. 无论是今天的4G, 还是未来的5G, 到2021年超过70%的汽车将支持车联网. 许多国内外大型车厂在今年或明年就将实现百分之百的车联网覆盖. 第二, 变革驾驶员和乘客的用户体验. 多年来, 汽车的信息娱乐平台已从无屏快速发展为大屏和多屏, 实现了全数字化和多操作系统, 同时提供丰富的云端服务和内容交互. 第三, 为未来自动驾驶铺平道路.
据高通产品市场高级总监叶志平介绍, 目前, 主要汽车制造商均采用高通的技术和解决方案. 在连接技术方面, 高通是全球最大的车载信息处理和汽车蓝牙供应商, 拥有超过十年的经验.
'高通领先的下一代顶级信息娱乐方案已被多款将于2019-2020年实现量产的汽车采用, 也就是从大屏到多屏以及多操作系统. 2017财年, Qualcomm赢得25个全新车载信息处理和信息娱乐设计. 全球前25家顶级汽车制造商已有14个品牌选择在其汽车信息娱乐设计中采用骁龙汽车平台, 在它们的下一代汽车上进行量产. 2019年和2020年, 第一代骁龙820汽车处理器将会进入量产. ' 叶志平说.
同时, 叶志平指出, 一系列汽车人工智能的挑战和要求需要面对. 首先是安全性, 汽车将拥有许多用户隐私数据, 例如人脸或指纹. 其次, 汽车的人工智能必须能够即时响应, 例如在自动驾驶状态, 时延必须大大降低. 第三, 实用性及可靠性, 无论在任何状态人工智能必须能够运行, 尤其是在一些没有网络覆盖的区域. 最后, 还存在热效率和能效的挑战.
叶志平表示, 通常涉及人工智能的功耗将高达100瓦, 汽车则超过60瓦, 服务器 (sever box) 的设计要求超过60瓦必须配备冷却系统. 对于展示而言目前的设计是可以的, 而要将具有合理性价比且不会浪费车内空间的自动驾驶汽车实现真正量产, 目前的技术还无法实现. 随着越来越多电动汽车开始上市, 耗电和电池里程也是一个比较大的考量.