人工智慧(AI)發展愈加快速, 並開始大舉進軍終端裝置, 運算分析已開始從雲端轉向終端節點, 邊緣運算髮展可說是目前半導體產業熱門議題, 而2018台北國際計算機展(Computex 2018)也成為各領域業者(如IP, 晶片, 儲存) 火力展示的絕佳場合, 紛紛於展會期間發布新的解決方案或市場布局規畫.
搶攻邊緣運算市場 Arm動作頻頻
Arm IP產品事業群總裁Rene Haas(圖1)表示, 隨著物聯網的蓬勃發展, Arm預測至2035年全球將會有超過1兆台的聯網裝置, 運用於醫療, 汽車, 燈具及道路等範疇, 而聯網裝置數量的大幅成長也將帶領終端及雲端運算的持續發展. 智能運算將持續推動物聯網嶄新時代, 帶領AI變革, 促使物聯網智能運算無所不在.
圖1 Arm IP產品事業群總裁Rene Haas表示, 物聯網蓬勃發展將使聯網裝置快速增加, 智能運算未來將無所不在.
因應此一趨勢, 且為整合生態系統的AI/機器學習(ML)應用, 演算與框架, 並結合軟體優化與硬體IP產品, 讓各式裝置及平台都能支援最常使用的機器學習框架, Arm近期宣布推出三款全新IP產品, 分別為Cortex-A76 CPU, Mali-G76 GPU, 以及Mali-V76 VPU, 以提升遊戲與AR/VR體驗, AI和機器學習能力. 透過這三款新產品, Arm將持續強化該公司於行動領域的競爭優勢, 也再度增強了智能手機, 平板計算機, PC等行動終端裝置的運算效能.
Arm副總裁暨客戶事業部總經理Nandan Nayampally(圖2)表示, 未來5G將推動整個行動產業創新, 即將到來的5G聯網應用, 包含VR, AI或是手機遊戲等將會帶動更多運算量成長, 未來將會有更多不同運算需求產生.
圖2 Arm副總裁暨客戶事業部總經理Nandan Nayampally指出, 5G加AI將推動整個行動產業創新, Arm為此推出全新IP產品因應市場需求.
Nayampally進一步指出, 遊戲也是推動行動裝置運算持續攀升的關鍵因素之一. 遊戲產業已成目前全球營收規模最大的市場之一, 預計在2018年可達到1,379億美元的產值, 這也驅動了消費者對於運算效能的需求.
據悉, Cortex-A76是基於Arm旗下的DynamIQ技術打造, 和去年所發布的Cortex-A75相比, 提升了35%的效能與40%的效率; 可為終端裝置上的AI/ML提供4倍的運算效能, 於PC和智能手機上實現快速且安全的體驗.
Mali-G76則比前一代的Mali-G72 GPU提升30%運算效能, 以及增加了30%的效能密度, 不僅可滿足消費者隨時遊玩高階遊戲的需求, 也為開發人員提供更多的效能空間, 使他們能編寫更多新的應用程序, 為行動應用帶來更多高階遊戲, 或是將AR/VR整合至生活當中.
最後, 隨著UHD 8K需求逐漸攀升, 為確保IP能支援智能手機和其他裝置編碼解碼運算, Arm便推出Mali-V76, 可支援高達60fps的8K解析度或四部60fps的4K串流影片, 消費者能同時串流四部4K解析度的電影, 在視頻會議中錄製影片, 或者以4K觀看四場比賽; 或在較低解析度的狀況下, 仍能呈現高解析度畫質(Full HD), 並能支援多達16部串流影片組成4×4的電視牆.
Project Trillium亮相 加速建構ML生態系
與此同時, 為提升終端裝置機器學習效能, Arm也於2018年初發表Project Trillium平台, 包含全新機器學習處理器(ML Processor), 對象偵測處理器(Objects Processor), 以及Arm神經網路軟體(Arm NN). 相較於獨立CPU, GPU與加速器, Project Trillium平台效能更遠遠超越傳統DSP的可編程邏輯.
Arm副總裁, 院士暨機器學習事業群總經理Jem Davies(圖3)指出, 邊緣運算髮展潛力十分龐大, 目前市面上的確有許多獨立的解決方案, 像是ASIC加速器, CPU/GPU等. 終端業者當然可以選擇自己想要的方案, 不過缺點在於須花費時間自行進行硬體與軟體(TensorFlow, Caffe)的整合.
圖3 Arm副總裁, 院士暨機器學習事業群總經理Jem Davies認為, Project Trillium可望為終端裝置打造完整的機器學習生態系.
Davies說明, Project Trillium的優勢在於, 是以平台的架構呈現, 硬體方面不僅有ML Processor和Objects Processor可供選擇, 同時也能透過Arm NN軟體, 協助用戶簡化TensorFlow, Caffe與Android NN等神經網路框架和Arm Cortex CPU, Arm Mali GPU與機器學習處理器之間的連結整合.
Davies進一步指出, 軟體整合是發展機器學習其中一個關鍵要素, 許多加速器業者或許有辦法提供相關硬體處理器(CPU, GPU), 但卻少有資源可以提供一個完善的平台架構, 協助客戶進行軟硬體整合或是提升ML模型運算, 而Project Trillium包含全新的Arm IP處理器及神經網路軟體, 從硬體和軟體面都能滿足現今市場需求, 而這種方式也有助於Arm建構完善的邊緣運算生態系.
另外, Davies也觀察到, MCU對機器學習的需求也十分強勁. 他透露, 在Project Trillium上線, Arm NN軟體開發工具包開放用戶下載的第一天, 就有超過5,000名用戶開始使用CMSIS NN, 嘗試以Cortex-M執行機器學習演算法.
Davies說, 這個結果其實出乎Arm的預料, 也顯示MCU用戶群對機器學習的需求跟興趣, 是不容忽視的. 這也促使Arm決定在未來推出的新版Cortex-M核心中, 進一步強化這類核心執行ML演算法的效率.
CMSIS NN是Arm神經網路軟體開發工具包Arm NN SDK下的一個運算函式庫(Compute Library), 可以提升Cortex-M執行機器學習演算法的效率. 即便是現有的Cortex-M核心, 在CMSIS NN的幫助下, 也可以執行一些很簡單的機器學習推論, 例如判讀感測器輸出數據所代表的意義. 當然, 由於MCU的運算效能跟記憶體空間都不是很充裕, 因此不可能執行非常複雜機器學習推論, 但如果是對單一感測器節點輸出的數據做簡單判讀, 還是有機會實現的.
Davies指出, MCU如果無法支援某些基本的ML演算法, AI應用無所不在的未來是難以實現的. 目前透過雲端數據中心提供的人工智慧應用服務, 其實有很明顯的應用局限, 只有把AI不斷往邊緣推進, 才能讓AI應用更加普及. 而為了讓MCU能更有效率地執行ML演算法, 在Arm未來的產品發展路線圖裡面, Cortex-M執行ML的效率將會進一步提升.
邊緣運算走入自動駕駛 高效能處理器不可或缺
另一方面, 汽車產業未來也將是邊緣運算的重點應用領域之一. 根據Arm預測, 至2020年平均一台汽車中將會嵌入多達200多個感測器, 並經由100多個發動機控制器(ECU)或微控制器(MCU)處理, 而如何快速處理如此龐大的數據, 即時做出回應並同時維持系統的穩定性與安全性, 打造符合用戶需求的自動駕駛車, 將成為未來汽車電子市場的一大挑戰.
對此, Arm副總裁暨嵌入式及車用事業部總經理John Ronco(圖4)指出, 邊緣運算興起, 使得終端裝置不用再回傳大量數據到雲端處理, 但這也代表一般的CPU或機器學習晶片需要更高的處理效能, 而這也是Arm推出Project Trillium和Cortex-A76的原因, 而這些產品也相當適合放在汽車電子組件之中.
圖4 Arm副總裁暨嵌入式及車用事業部總經理John Ronco表示, CPU, GPU等處理器須具備更高效能才可因應自動駕駛安全需求.
此外, 為實現自動駕駛, 一輛汽車上除了雷達, 光達外, 往往也會搭載視覺感測器, 也因此需要更高的GPU因應龐大的影像運算.
Ronco表示, 自動駕駛的視覺運算需求, 和一般IP網路攝影機差別在於, IP網路攝影機大多是單一的鏡頭, 且不常移動, 通常是安置在屋內/外某個角落監看. 但對汽車而言, 會須要搭載數個攝影鏡頭, 偵測路況和環境, 所接收的影像資訊十分龐大, 且由於汽車一直在移動, 周遭景物也會跟著不停變化, 這會使得運算更加複雜, 因此便需要完善的解決方案.
Ronco透露, 像是Project Trillium內的對象偵測處理器主要是用於IP網路攝影機, 而要滿足汽車視覺運算需求, 則是須靠如Mali-G76這類的高效GPU, 具備更高的運算效能, 才能因應汽車行駛時快速的環境變化, 避免事故發生.
總而言之, AI時代為各項應用領域帶來新商機, 而邊緣運算也勢將會走入汽車產業當中, 但若要將邊緣運算建構於汽車中, 必須嵌入更高階的技術才能達到更優異的性能表現, 使汽車能夠更智能, 安全, 有效率.
帶動儲存需求 WDC具一條龍生產優勢
邊緣運算興起, 不僅促使處理器效能須跟著增加, 就連儲存需求也跟著攀升, 儲存業者因而加速產品布局腳步. Western Digital嵌入式應用解決方案事業部副總裁Christopher Bergey(圖5)指出, 邊緣運算, 機器學習等技術, 皆讓儲存和運算變得相當複雜.
圖5 Western Digital嵌入式應用解決方案事業部副總裁Christopher Bergey表示, 因應邊緣運算市場, 該公司一條龍的生產模式為市場競爭優勢.
Bergey進一步說明, 邊緣運算會隨著不同的應用情境, 對儲存產品有不同要求, 像是在汽車上特別重視溫度, 可靠性, 在近年來又添加了成本和穩定供貨5年的考慮因素; 另外在行動裝置應用上, 以智能手機為例, 像是現在消費者對拍照越來越要求, 照片的畫素提高, 也連帶使得手機儲存容量須跟著變大, 邊緣儲存的需求將跟著變大, 因此相關的嵌入式快閃記憶體(EFD)產品性能也隨之提升.
因應此一趨勢, 像是Western Digital便推出新款iNAND產品系列--iNAND8521/iNAND7550, 採用該公司64層3D NAND技術以及先進的UFS與e.MMC介面, 提供較佳的數據效能與龐大的儲存容量. 用於智能型手機與輕薄運算裝置時, 這兩款產品能加速實現以數據為中心的各式應用, 包括擴增實境(AR), 高解析視訊的擷取, 社群媒體體驗, 以及近期崛起的AI與物聯網邊緣體驗.
Bergey透露, 未來行動裝置的發展趨勢無庸置疑會朝更高性能邁進, 因為5G世代到來後, 傳輸數據越來越快, 創新應用會愈來愈多, 加上AI興起, 兩者若相結合後, 對工作負載的要求也會隨之提升, 儲存容量勢將會因而大增. 該公司也會持續跟手機業者密切合作, 好針對需求提供合適的產品.
Bergey也指出, 因應邊緣運算髮展, 該公司其實具備很好的戰略優勢. 原因在於, WDC具備完整的產品線(從低階產品到高性能產品), 另外, WDC是採用一條龍的生產策略, 從晶圓, 控制器, 韌體和軟體等, 都是自行負責, 因此可以快速的針對市場變化推出產品, 或是滿足設備商客制化需求, 這是WDC在競爭激烈的邊緣運算市場中所擁有的優勢.
NXP攜手合作夥伴 加速開發安全邊緣方案
至於NXP, 則是從安全著手, 攜手生態系合作夥伴, 如新漢, IMAGO, 智邦科技, 神准科技等, 共同投入邊緣運算安全基礎架構的部署工作, 支援在邊緣進行連接的新興AI和機器學習, 以及部署於雲端的安全邊緣處理.
協力合作的系統供貨商將以NXP的Layerscape與i.MX應用處理器系列為基礎, 進行產品開發, 以符合需要本機處理能力與雲端聯機功能的各種應用上. 開發出的平台提供運算能力, 聯機功能及儲存容量之間的完善平衡, 適合同時在企業及工業環境運作.
透過NXP的EdgeScale技術及Docker與Kubernetes的開放原始碼軟體, 可在常見雲端架構上執行各種邊緣應用, 包括Amazon Web Services(AWS), Greengrass, Google Cloud IoT, 微軟Azure IoT, 阿里巴巴及私有雲端架構.
NXP指出, EdgeScale是包含裝置和雲端服務的套件, 透過該產品可以簡化安全運算資源在網路邊緣的布建; 而NXP將會與這些夥伴共同合作, 為物聯網與企業內部部署(On-Premises)的運算平台提供具擴展性, 安全性, 以及部署方便性, 以實現安全部署與管理.
恩智浦數字網路事業部資深副總裁暨總經理Tareq Bustami表示, 建立安全的邊緣解決方案對於物聯網及工業4.0的成功發展極為重要, 因此, 該公司致力於與眾多設備製造商合作, 提供容易使用且支援雲端連結的安全邊緣運算解決方案. 透過合作, 該公司將協助推出更智能, 更多功能的邊緣解決方案, 加入可進行大規模部署及管理的強大安全功能.
綜上所述, 可看出不論是IP商, 儲存業者或是晶片供貨商, 皆積極布局邊緣運算市場, 各自開發開放平台與硬體架構, 期能讓AI走入各種終端裝置中, 並且建構完善的生態圈.