Linaro CEO George Grey在現場展示HiKey 970
HiKey 970
自2017年, 搭載麒麟970的華為Mate 10系列及榮耀V10手機發布以來, AI逐漸成為智能手機的標配, 端側AI的應用領域也開始成為業內熱議的話題. 前不久, 由CSIA-ICCAD, 《中國整合電路》和摩爾精英聯合主辦的首場人工智慧與半導體技術國際論壇在上海舉行, 現場聚集眾多專家學者與行業大咖, 共話 'AI晶片機遇與挑戰' , 圍繞人工智慧關鍵技術與未來趨勢, AI晶片等熱點話題展開深入探討.
華為無線終端晶片產品市場總監周晨到場參會並發表主題演講, 介紹了麒麟970的在AI應用方面的性能, 為開發者帶來的平台優勢, 並探討了關於端側AI的現狀與未來, 下面就來回顧下演講內容.
關於AI晶片應用領域的那些事兒
AI晶片的應用領域業態
現在AI領域的業態大致分為專用和通用兩個方向. 專用的應用場景非常確定, 要解決的問題也非常清楚, 例如城市監控與自動駕駛, 在這些領域做AI晶片是面向確定的場景去做具有針對性的晶片. 而通用的場景是不確定的, 以手機應用來說, 現在不知道明年會流行什麼手機應用, 而且應用本身非常複雜, 不是通過純粹的某一種運算去解決問題. 這也是這兩種業態間的差異.
回到手機晶片, 手機晶片的競爭力體現在對於未知流行應用的支援能力. 端側AI需要有能力去判斷未知出現的應用, 而不是說適配好現在的應用就結束了. 應用在手機上的表現如何, 實際上取決於兩年前晶片在設計時的預判.
AI應用跑在端側的原因
端側AI解決的兩個核心問題是即時和隱私.
對於即時的需求, 實際上是人的本能. 如今, 人們發出的資訊都希望能夠得到即時的反饋, 這個需求實際上也是很多行業發展的源動力, 包括整個通信行業. 追溯到人類在原始社會的交流, 當時人們之間的眼神, 語言傳遞都是即時得到反饋的, 隨著距離的拉長, 後來即時性開始受到影響, 這也是所有人, 包括整個通信行業不斷追求更高速率, 更低時延的根本原因. 那麼說到AI領域, 比如用攝像頭做一個即時的應用, 如果將所有數據上傳到雲端, 在雲端處理完再傳回來, 這種處理時長帶來的用戶體驗幾乎是不可接受的.
另一個問題就是隱私. 大家是否願意把所有東西都傳到雲端去?我們的手機現在就是一個內容生產工具, 每天都會產生大量的隱私資訊, 這些數據與其放在別人那裡, 不如放在自己口袋裡, 這也是端側AI非常重要的一點.
AI應用運轉的基本原理
沒有一個APP是單一負載的. 舉例來說, 開啟一個直播類帶AI功能的應用, CPU至少有一兩個線程在高負載工作;只要開啟屏幕GPU就在進行圖形渲染類的工作, 如果是AR應用, GPU的負載就會更大;如果開啟攝像頭, ISP和DSP也開始運轉, 這些組件都在工作. 所以AI應用考慮的不止是加入一個專用硬體單元, 而是如何把所有資源在系統中進行調配, 讓應用能夠帶給手機用戶更好的體驗.
在演講中周晨表示, 雖然現在的AI應用還沒有大範圍普及在終端上, 但實際上已經有很多合作夥伴在共同努力, 很快就會有一大波基於AI的應用和體驗出現在手機上, 讓大家感受到AI應用可以覆蓋到很多領域, 在原有領域裡帶來更多新的體驗和能力的提升, 這方面有很多服務都在進行中, 大家可以期待.
麒麟970提升AI實力, 助力開發者創新AI應用
獨立AI硬體處理單元, 麒麟970 AI運算力顯著提升
手機晶片的升級是一個不斷疊加的過程, 最好能在不增加任何面積的情況下, 用最佳的能效比來完成這件事, 而深度學習相關的運算負載非常高, 對性能的要求也較高. 麒麟970選擇加入一個獨立的專用硬體單元來處理AI運算, 通過加入體積較小的NPU實現100%的AI性能, 運算效率超過CPU和GPU. 通過對比麒麟970的GPU和NPU, 也能明顯看出獨立硬體確實能夠起到更好的效果.
周晨表示, '從我們做晶片的角度來說, 提升算力是一個持續的工作, 也是我們的本分. 但更關鍵的是, 當我們把晶片算力做到位後, 需要有開發者在平台上把AI能力變成用戶體驗. 所以使能開發者對我們來說, 變得格外重要' .
麒麟970提供硬體支援, 助力開發者AI應用創新
對開發者來說, 最重要的是開發成本, 利益分享和智慧財產權.
開發成本是說開發者從一個平台到另一個平台的遷移成本, 運算元是否夠多以及開發工具是否好用, 文檔和支援是否完善, 這些因素從某種程度上決定了開發者的成本. 其次, 開發者關心應用的利益分享. 他們可能看重平台的推廣與應用的下載量, 或是開發出APP後在業內的知名度. 後, 開發模型是每一個演算法開發者的智慧財產權, 保護智慧財產權是非常重要的事情. 而作為一個平台, 這些都是必須要考慮的問題.
去年, 華為推出了HiAI移動計算平台並面向開發者進行開放. 據介紹, 這個平台上層考慮的是5-6種AI應用如何接入HiAI平台, 下層是相應的模型管理能力. 此外, HiAI的離線模式更適合端側AI性能的發揮, 從檔案中載入離線模型, 計算時每一次推理只需要把用戶數據從DDR到NPU導入導出一次就可以運行, 是一種非常高效的模式.
據了解, 在去年推出的HiAI V100版本基礎上, 華為很快會推出V150版本, 將支援更多框架與API, 運算元更多, 開發工具得到進一步提升, 文檔與支援也更加完善. 這些都是希望能夠降低開發者成本, 讓開發者能在熟悉的環境內進行調試, 開發出更多全新的AI應用.
在演講最後, 華為也表示, '我們希望能夠把HiAI開放平台應用於更大的範圍, 讓不同領域不同場景都能夠用到AI的力量. 在這個背景下, 我們會考慮推出一款開發板, 應該說是目前業界最早把AI運算能力做到小型端側的開發板, 也希望能夠帶給開發者更多選項, 希望看到開發者獲得更多AI能力的同時, 帶來更多AI應用的落地. 我們做手機晶片平台, 本質上是做好黑土地, 提供養分充足的土壤, 而Mobile AI應該是百花齊放的樣子, 這才是我們期待看到AI這個產業大面積落地, 推廣到每一個人身邊真正的樣子' .
據悉, HiKey 970將於4月中旬面向開發者公開發售, 為開發者提供更加強大的開發工具, 以期讓開發者創造出更多全新的AI應用, 不斷完善AI應用生態的搭建. 相信在不久的將來, AI將在手機上發揮更大的潛能, 帶來更多新鮮, 有趣的智慧體驗.