實際上, 這些器件並不是真正的晶片, 而是一種系統級封裝. 它們通常包含一顆或者兩顆具有大規模處理能力的基於最新半導體製造工藝 (16nm及以下) 的ASIC, 和大容量的超高頻寬記憶體 (比如HBM2堆棧) , 所有這些晶片都通過先進封裝技術整合在一起.
人工智慧相關ASIC近來漸獲市場注意, 多家廠商如NVIDIA, 英特爾, Google及部分新創企業均相繼搶進開發, 有望在未來形成數十億美元市場商機規模. 隨著NVIDIA將GPU重新定位成為雲端AI引擎角色下, 也確定帶動ASIC業務跟進發展, 如Google如今已推出第二代TPU, 英特爾在買下Nervana公司後也取得自有Nervana晶片, 另外由多名前Google TPU員工創辦的新創企業Groq, 近日也宣布將在2018年初推出自有下一代AI晶片等等.
Google的TPU, 是專門為其深度學習演算法Tensor Flow設計的, TPU也用在了AlphaGo系統中. 今年發布的第二代Cloud TPU理論算力達到了180T Flops, 能夠對機器學習模型的訓練和運行帶來顯著的加速效果, 其實也是一款ASIC晶片. 選擇做ASCI定製化研發, 一方面是資金不愁, 另一方面也是出於Google所需提供的服務考慮. 包括Google映像搜索, 照片, 雲視覺API, Google翻譯等產品和服務都需要用到深度神經網路. Google有這個需求以及能力去開發一種專門的晶片並具備規模化應用 (大量分攤研發成本) 的可能.
Nervana由英特爾購併後, 計劃在2017年底前推出第一款AI專用化Nervana神經網路處理器(NNP). Nervana NNP也是一款ASIC晶片, 能以極高運算效率從事深度學習演演算法的訓練與執行. 英特爾捨棄了CPU上常見的快取, 改由特殊軟體負責特定演演算法的晶片存儲器管理, 希望能藉此將晶片的運算密度與性能提升到新的層次.
由前Google TPU員工創辦的新創企業Groq打算在2018年發布第一代AI晶片. 這款晶片對標英偉達的GPU, 是專門為人工智慧重新定製一款晶片. 官網資料顯示, 這款晶片的運算速度將可以達到400萬億次每秒, 每瓦特能進行8萬億次的運算. 而穀歌最新一代的TPU才達到每秒180萬億次運算, Groq晶片的性能將會是穀歌TPU的兩倍多.
聯發科也將有所動作. 聯發科共同CEO蔡力行表示, ASIC的布局聯發科會發揮既有資源, 通過現有團隊實力, 配合客戶需求積極開發ASIC領域. 但畢竟才剛開始, 現階段不會太挑客戶, 還是以整體業務成長為優先考慮.
全球AI晶片首個獨角獸寒武紀, 走的也是ASIC路線.
事實上, 由於定製化, 低功耗等好處, 在AI領域ASIC正在被越來越多地採用, 帶動了ASIC設計及市場快速增長. 根據Semico Research的最新調查報告, 在2021年以前, 人工智慧聲控裝置ASIC的設計預計將以接近20%的年複合成長率成長, 幾乎達到2016年至2021年間所有ASIC設計成長率(10.1%)的兩倍, 去年全球ASIC出貨量增長為7.7%, 明年物聯網ASIC單位出貨量將超過18億個單位. Semico Research指出, ASIC增長主要動力來自於工業與消費市場的成長, 由於市場飽和加上需求減少, 許多傳統終端應用的成長速度開始減慢, 而與物聯網有關的應用正在起飛.
Semico Research指出, 除了物聯網和人工智慧以外, 與智能電網, 穿戴式電子產品, 固態硬碟, 無人機, 工業物聯網, 先進駕駛輔助系統(ADAS)和5G基礎設施相關的ASIC產品成長率預計也將較廣泛的市場更迅速. 在2021年以前, 消費電子領域的基礎SoC設計專案將以19%的CAGR成長, 而工業物聯網ASIC設計專案則將成長25%.
ASIC設計研發成本難以負荷, 設計服務浴火重生
儘管如此, ASIC在AI領域的應用還是面臨著不少難題.
ASIC是依照產品需求不同而定製化的整合電路, 由特定用戶需求和特定電子系統的需求而設計, 製造. 一般來說, ASIC在特定功能上進行了專項強化, 可以根據需要進行複雜的設計, 可實現更高處理速度和更低功耗, 相對地, ASIC的設計, 製造成本也非常高. 一般的IC公司很難承擔為深度學習開發專門處理器ASIC晶片的成本的風險. 首先未來為了性能必須使用最好的半導體工藝製程, 而現在用最新的工藝製造晶片一次性成本就要幾百萬美元, 非常貴. 就算有錢, 還需要組建一個團隊從零開始設計, 設計周期往往也非常長, 可以說time to market時間太長, 風險很大. 且ASIC晶片還將必須不斷升級以跟上新技術及工藝水平, 加上ASIC晶片設計者在開發過程初期便已固定其邏輯, 因此若在AI這類快速演化的領域有新想法出現, ASIC晶片將無法對此快速做出反應. 如果無法實現規模化的應用, 就算開發成功也美元實際應用價值. 所以, IC公司一般傾向於採用通用晶片如CPU, GPU, 或者半定製化晶片FPGA.
顯然, 隨著工藝的不停升級, ASIC的流片費用已經抬高了ASIC保底的最少晶片銷售量, 到最後全球也就為數不多的幾家ASIC廠商能夠承受這種巨額的ASIC流片成本和失敗風險. 藉此, ASIC設計服務再次回到業界關注焦點.
例如, 美國無晶圓廠FinFET級ASIC設計服務企業eSilicon日前宣布, 成功將自有深度學習ASIC送交製造所發布, eSilicon提到這款ASIC采定製IP, 先進2.5D封裝工藝以及為業界大型晶片之一, 並為該公司首款採用台積電2.5D CoWoS封裝技術的量產晶片. 台積電業務發展副總裁BJ Woo博士指出, 台積電CoWoS封裝技術是針對滿足這類晶片設計深度學習應用的需求, 此先進封裝解決方案可實現高性能及整合需求, 以達到eSilicon的設計目標. 前文中提到的Google TPU, Nervana NNP, Groq即將推出的第一代AI晶片, 均是由ASIC公司所送交製造, 並交由台積電製造.
目前, 人工智慧類ASIC的發展仍處於早期. 其根本原因是, ASIC一旦設計製造完成後電路就固定了, 只能微調, 無法大改. 而硬體的研發設計與生產成本很高, 如果應用場景是否為真市場尚不清晰, 企業很難貿然嘗試. 此外, 能設計出適用於人工智慧晶片的公司必然是要既具備人工智慧演算法又擅長晶片研發的公司, 進入門檻較高. 因此, AI演算法+ASIC設計服務+代工的商業模式的發展得宜, 可以讓愈來愈多AI ASIC得以陸續問世及開發.
代工廠這邊, 全球有很多代工廠, 但是因為難度太高, 能做AI系統封裝的廠商並不多, 台積電, 三星和格芯都在榜單之列. 那麼, 是哪些廠商在設計AI系統封裝呢? 你需要看看哪些廠商真正擅長2.5D整合和擁有設計所需的關鍵IP (比如HBM2物理層介面和高速SerDes) . HBM2 PHY和高速SerDes模組執行該封裝系統內多個組件之間的任務關鍵性通信. 這些都是類比設計中非常苛刻的挑戰, 從ASIC供應商那裡購買IP可以把風險降至最低. 上面提到的三項關鍵技術eSilicon都有涉及. 擅長這些領域的ASIC廠商並不多, 不過由於人工智慧市場可能會出現爆炸性增長, 所以這些ASIC廠商將會受益匪淺.
台灣也有眾多IC設計服務企業, 在人工智慧市場驅動下, ASIC生意再度好起來, 且業者預期這波榮景可望持續很久. 台積電大膽預言, 2020年高性能計算(HPC), AI相關晶片業績將高達150億美元, 創意及世芯, 智原亦看好來自全球AI客戶對於ASIC晶片的需求熱潮, 可望自2017年起延續好一陣子, 尤其是強調先進位程技術, 極度複雜晶片設計, 高效能與低功耗等, 將是IC設計服務業者的新藍海市場.