全新的iPhone X整合了用於人臉識別的神經引擎, 但這僅僅是一個開始. 嵌入式神經引擎和專用智能處理器在邊緣設備上實現了人工智慧 (AI) , 打破了對於雲的依賴. 邊緣處理的好處包括減少延遲, 全網路覆蓋, 增加了隱私和安全性, 並減少了與雲端的通信, 從而降低了成本. 正因為具備上述優勢, 移動設備可以利用人工智慧去實現不久前還只能出現在科幻小說中的場景.
過去的機器現在是即時數據處理中心
我剛剛參加完我們的年度研討會, 有機會親密接觸到了嵌入式世界中的AI技術. 曾經是純機械的機器, 比如汽車, 無人機和機器人, 現在正變得智能起來, 具備了可視, 感知, 跟蹤, 分類, 檢測, 識別等能力. 現在, 這些設備使用計算機視覺和感測器融合來收集和處理數據, 並進行即時決策. 在某些情況下, 比如無人駕駛汽車和無人機, 決策是至關重要的, 雲端處理的延時可能導致難以接受的響應時間. 通過片上智能化, 這些機器更準確地被定義為了數據中心.
無人駕駛車輛就是一個很好的例子, 它需要大量的視覺和其它感測器, 以及衛星定位資訊和各種連接解決方案. 它還必須有一個 '大腦' 完成數據融合和分析. 同時基於雲的處理和資訊也將在自動駕駛功能中發揮作用, 因此必須有一個可以瞬間做出決策的車載處理器. 即使出現零星的情況, 操作車輛也不會有危險是非常關鍵的. 因此, 處理器能夠處理密集的深度學習計算是必要的, 而不是一個可選的功能.
神經網路的邊緣處理正在成為主流
在智能手機領域, 蘋果通常是一個新增特性被作為主流必備還是利基市場 (niche-market ) 配件的試金石. 隨著蘋果新旗艦iPhone X的發布, 手機上配有一個專門的神經引擎是人工智慧邊緣處理的一件大事. 如同我同事在最新的蘋果手機發布之前預測的一樣, 這意味很快每個帶有攝像頭的設備將包括一個視覺DSP或其它專門的神經網路處理器. iPhone X裡的神經引擎實現了Face ID技術, 允許用戶注視手機從而解鎖他們的iPhone. 超快的響應時間加上隱私和安全級別的考慮需要所有的識別處理必須在手機上完成. 以現在設備上具備的AI能力, 肯定會不斷推出更多令人興奮的AI功能.
穀歌也在其最新的旗艦手機Pixel 2中增加了類似的功能, 通過稱之為像素視覺核心 (Pixel Visual Core) 的處理器實現. 在競爭激烈的智能手機領域, 穀歌必須實現差異化. 方法之一是推出相機搭載出眾軟體的Pixel智能手機. 但是, 映像增強所需的密集計算, 單鏡頭背景虛化效果, 提高照片的動態範圍, 這些功能在目前大部分領先的智能手機自帶的標準處理器上不能高效地運行. 因此穀歌決定為這些功能添加第二個晶片, 通過添加AI功能可能是另一個主要差異化的體現. 華為最近也宣布了在麒麟970中整合了神經引擎, 另外還有許多其它公司也加入到競賽中.
基於視覺DSP的引擎如何實現片上智能化?
雖然邊緣處理的好處顯而易見, 它同時也帶來了挑戰. 難題是如何將可以在巨型伺服器上完成的數據運算, 放入到一個很小的手持設備中, 同時電量還被消耗在許多其它處理任務上. 這就是視覺DSP對於能否成功實現邊緣AI處理至關重要的原因. 精簡和高效, 但強大的向量化性能, 讓DSP處理器成為完成神經引擎工作負載的最佳選擇.
另一個挑戰是如何將現有的神經網路移植到嵌入式DSP環境裡. 這可能會消耗大量的開發時間, 代價變得非常昂貴. 但是自動化工具鏈可以支援 '按鍵操作' , 一站式服務將網路的分析和優化轉換到嵌入式環境中. 對這樣的工具而言, 覆蓋大量最先進的網路是非常重要的, 以確保任何網路都可以很容易地優化並運行在嵌入式設備上.
移植和優化過程完成後, 通常會對輸入數據進行下採樣, 從而以最少的資訊丟失完成更快速的處理. 例如在Faster RCNN (PDF) 的流程中, 我們有兩個處理階段, 區域建議 (proposal regions) 和區域分類 (classify regions) .
CEVA-XM家族處理器是超低功耗的視覺DSP, 非常適合完成此類工作. 通過添加CEVA-CNN硬體加速器 (HWA) 可以更進一步提升性能, 加速神經網路處理 (例如Faster RCNN) . 從下圖中可以看到, 我們第五代視覺處理器CEVA-XM6, 相比前一代獲獎的CEVA-XM4性能有了顯著改善. 添加CEVA-CNN硬體加速器則使性能又向前邁進了一大步.
基於深度學習的人工智慧為手持設備帶來了無盡的機會: 通過映像增強獲得DSLR質量的照片, 增強和虛擬現實應用, 環境感知, 避讓和導航, 檢測, 跟蹤, 識別, 分類, 分割, 映射, 定位, 視頻增強等等. 我們手掌中擁有這樣的力量, 看起來智能手機的通話功能就微不足道了.
