目前, 高通正積極在智能手機, 物聯網, 智能汽車等領域推進其終端AI策略, 同時加速AI創新技術的研發, 構建AI生態. 在高通近日舉辦的人工智慧峰會上, 相關部門的負責人分享了高通技術在支援AI方面的發展策略, 進展以及用例, 呈現出高通在AI領域的全景圖.
智能手機AI關注視覺, 語音, AR三方面
作為移動通信領域的巨人, 高通在推動移動通信技術, 智能終端發展上做出了巨大貢獻. 曆經十餘年的發展, 儘管智能手機市場的增速正在放緩, 但隨著物聯網, 5G等時代的到來, 智能手機的核心位置再一次凸顯.
預計在2018-2022年, 智能手機累計出貨量將超過86億部. 這意味著AI技術在智能手機領域的廣泛應用有著廣闊的空間. 智能手機是人工智慧進行相關創新的最大平台. 如今, 手機廠商在AI領域的廝殺熱度已經可以說明這一點.
據高通產品管理總監Gary Brotman介紹, 在智能手機AI領域, 高通重點關注三個方面:
一是視覺AI領域. 從目前手機廠商應用AI的情況看, 視覺方面的AI最多, 如面部識別, 解鎖, 支付, 以及智慧攝像, 美顏等等, 一方面視覺AI技術相對成熟, 另一方面, 手機用戶在這方面的體驗需求較高.
二是AI語音, 利用聲音與智能終端交流對話, 更好的互動.
三是增強現實 (AR) , 該領域對終端密集計算能力要求較高. 通過AR, 利用周圍的環境, 實現智能手機上所有感測器的共同支援, 以虛擬和現實融合的方式, 即時提供娛樂, 教育和提醒服務等.
近三年, 基於智能手機端的AI平台, 高通已經推動AI技術演化了三代. 在這一過程中, 隨著AI演算法架構的不斷進化, 平台的功能和能力也隨之變得豐富和強大, 同時高通也在逐步構建AI生態的開放性.
第一代AI平台是驍龍820. 研究人員和商業開發者可在CPU上運行神經網路, 比較典型的就是運行Caffe. Caffe是當時最主流的架構, 是商用領域很多相關研發的基礎, 可以直接把神經網路訓練放在終端的CPU上進行.
第二代是驍龍835, 引入了神經處理引擎SDK. 通過與Google和Facebook的深入合作, 針對兩者提供的框架進行了優化, 在終端側支援TensorFlow和Caffe2. 這給予了開發者極大的便利, 可以根據自己的需要, 選擇合適的硬體內核支援AI運算.
去年12月, 在高通推出的驍龍845上, 整合了第三代AI技術, 對每一顆內核的計算能力都進行了擴展, 同時也擴展了對於更多神經網路框架的支援. 一方面, 通過直接與神經網路框架供應商合作; 另一方面, 也支援了ONNX交換格式, 能輕鬆地為開發者提供更多靈活性, 無需擔心底層硬體支援何種網路的問題.
高通人工智慧引擎AI Engine由一系列硬體與軟體組件組成, 旨在讓終端側AI為開發者帶來高能效和靈活性. 硬體上, 通過對CPU, GPU和DSP進行優化, 可以滿足不同AI應用場景對功耗, 神經網路, 工作負載和能效的需求.
在軟體方面, 通過SDK, 可以支援Android NN環境, 它還支援Hexagon NN, 如果開發者選擇使用Hexagon DSP來做開發, Hexagon NN庫就可以專門針對某一內核進行優化以實現最優的能效比. 所有這些為開發者以及客戶帶來極大的靈活性, 並有助於他們實現性能最大化.
從行業來看, 目前只有海思的麒麟750單獨設置了AI單元NPU, 而高通, 聯發科仍採用分布式計算的方式. Gary Brotman認為, 智能手機AI體驗不能僅僅依靠一個特定的內核, 更重要的是需要多種架構, 多種工具, 目前分布式架構能夠充分應對智能手機對於AI功能的需求.
AI語音個人助理: 變革性用戶交互界面
人工智慧的很多重要用例都需要各方面能力的支援, 在視覺AI成熟之後, AI的下一步被認為是AI語音, 個人數位助理也成為重要用例之一, 如手機端的語音助手, 智能音箱等等.
在高通人工智慧研究項目負責人兼工程技術高級總監侯紀磊看來, 即時是個人助理很重要的特性, 以隨時為用戶提供服務. 從能效的角度看, 個人助理始終線上的特點對模型的高效性有非常高的要求. 在個性化方面, 如何在聽覺, 意圖和行為的層面提供非常個性化的服務, 也是個人助理對個性化方面的重要需求. 在學習方面, 我們希望個人助理不斷了解個人行為, 不斷調整模型, 並在終端側進行學習和訓練. 從系統架構來看, 情景感知是人工智慧助理的重要特性, 而推動感測器多模態學習和多模態融合, 是其未來能力體現的重要角度.
語音交互是個人助理非常重要的關鍵部件. 語音是我們一直期待的變革性用戶交互界面, 尤其是在hands-free (不使用手去觸及終端) 的應用場景中. 語音界面對於打造真正的虛擬助理非常重要. 語音交互界面可以支援四個非常重要的特性. 第一, 始終開啟, 需要始終線上, 始終準備好提供服務. 第二, 對話式, 個人助理不是死記硬背一些命令, 而是能夠進行非常自然和流暢的, 多輪次的正常交流. 第三, 個性化, 個人助理如何識別詞句, 並清晰理解意圖, 這也是語音交互界面非常重要的一個方面. 第四, 私密性, 不用把數據傳到雲端, 而是在終端進行很多處理, 也是語音交互界面將來發展的一個重要的方向.
其實, 語音交互作為一個研究方向, 已經存在了超過50年的時間, 為什麼最近幾年突然變得火爆? 侯紀磊指出, 在大概20多年前, 機器學習的方式還是傳統的機器學習, 而不是今天說的深度學習, 那時通過高斯混合模型, 已經能夠達到一定的性能指標. 而隨著深度學習的出現和挖掘, 卷積神經網路和遞歸神經網路不斷被應用到語音交互界面場景, 出現了一個非常重要的趨勢是: 語音識別的性能指標將很快接近甚至超越人類的準確率.
'當這個重要的閾值被突破, 很快大量消費類, 企業類, 工業類等語音交互應用場景和商業模式會被挖掘出來. ' 候紀磊說.
另一個非常重要的趨勢是, 語音交互功能正從雲端向終端側快速遷移. 今天, 從商用而非研發層面看, 語音交互還更多是一個以雲端為中心的架構. 即使在這種情況下, 出於對低功耗, 即時的考慮, 語音交互所需的一些功能如語音降噪和語音激活都已經在終端側進行處理. 從雲端到終端側的遷移是一個漸進的過程, 很快包括語音識別, 自然語言理解以及文字轉語音 (TTS) 在內的更多功能會逐步演化到以終端側為中心. 由機器學習驅動的端到端解決方案正在推動語音交互向終端側遷移的趨勢. 候紀磊表示, 語音交互由雲端向終端演化在於隱私, 及時響應等優勢. 而未來語音交互長遠的發展方嚮應該是雲端跟終端緊密結合. 模型訓練, 模型更新, 知識庫應用以及一些更寬泛的服務, 在雲端進行處理可以跟終端進行更好的互補.
AI為物聯網與智能汽車帶來的機遇與挑戰
如今, 許多支援終端側人工智慧的物聯網終端已經推出市場, 包括智能揚聲器, 智能助理, 智能攝像頭, 家居樞紐, 智能吸塵器等等. 例如, 在家居樞紐中, 智能揚聲器和智能助理應用了語音智能. 在聯網攝像頭中應用了映像分類, 物體分類和面部識別. 在機器人方面, 例如智能吸塵器應用了躲避障礙. 總體而言, 終端側人工智慧正迅速發展, 為物聯網提供強勁的動力.
高通資深產品經理Shardul Brahmbhatt介紹, 高通的技術支援面向物聯網的終端側人工智慧用例, 總體來說分為三大類: 視覺, 音頻和感測器處理.
Brahmbhatt介紹了兩個用例, 一是在企業級安防領域, 利用人物檢測, 面部識別和面部檢測來識別, 評估進入公司大樓的員工和非員工, 以確保安防系統的預警訊號在終端側就可以被發送出去, 而不用再回到雲端進行處理. 另一個用例是智慧城市. 在這個用例中, 終端側人工智慧可以幫助進行車牌識別, 碰撞事故預警, 以及交通狀況監測等.
今天, 無論是傳統車廠, 或很多新的互聯網公司, 以及很多新興獨角獸企業都希望能夠掌握未來汽車市場. 關於汽車的未來, 高通確定了三大方向. 第一, 使汽車與萬物互聯. 無論是今天的4G, 還是未來的5G, 到2021年超過70%的汽車將支援車聯網. 許多國內外大型車廠在今年或明年就將實現百分之百的車聯網覆蓋. 第二, 變革駕駛員和乘客的用戶體驗. 多年來, 汽車的資訊娛樂平台已從無屏快速發展為大屏和多屏, 實現了全數字化和多作業系統, 同時提供豐富的雲端服務和內容交互. 第三, 為未來自動駕駛鋪平道路.
據高通產品市場高級總監葉志平介紹, 目前, 主要汽車製造商均採用高通的技術和解決方案. 在連接技術方面, 高通是全球最大的車載資訊處理和汽車藍芽供應商, 擁有超過十年的經驗.
'高通領先的下一代頂級資訊娛樂方案已被多款將於2019-2020年實現量產的汽車採用, 也就是從大屏到多屏以及多作業系統. 2017財年, Qualcomm贏得25個全新車載資訊處理和資訊娛樂設計. 全球前25家頂級汽車製造商已有14個品牌選擇在其汽車資訊娛樂設計中採用驍龍汽車平台, 在它們的下一代汽車上進行量產. 2019年和2020年, 第一代驍龍820汽車處理器將會進入量產. ' 葉志平說.
同時, 葉志平指出, 一系列汽車人工智慧的挑戰和要求需要面對. 首先是安全性, 汽車將擁有許多用戶隱私數據, 例如人臉或指紋. 其次, 汽車的人工智慧必須能夠即時響應, 例如在自動駕駛狀態, 時延必須大大降低. 第三, 實用性及可靠性, 無論在任何狀態人工智慧必須能夠運行, 尤其是在一些沒有網路覆蓋的區域. 最後, 還存在熱效率和能效的挑戰.
葉志平表示, 通常涉及人工智慧的功耗將高達100瓦, 汽車則超過60瓦, 伺服器 (sever box) 的設計要求超過60瓦必須配備冷卻系統. 對於展示而言目前的設計是可以的, 而要將具有合理性價比且不會浪費車內空間的自動駕駛汽車實現真正量產, 目前的技術還無法實現. 隨著越來越多電動汽車開始上市, 耗電和電池裡程也是一個比較大的考量.