1.當物聯網遇上AI;
據 SADA Systems 最近對大型 IT 產業專業經理人的市調發現, 2018 年人工智慧 (AI) 和物聯網 (IoT) , 正成為企業投資新技術的最主要領域.
在接受調查的 500 名 IT 人士中, 有 38% 的受訪者提道 AI 為企業投資的主要焦點, 而物聯網為 31%, 區塊鏈則是以 10% 上榜. 物聯網連接的設備通常會產生龐大的數據, 來訓練機器學習 (ML) 模型.
在接受調查的公司中, 物聯網的布局卻比 AI 多, 因物聯網和邊緣計算 (edge computing) 行業現階段較穩定, 而這樣的基礎穩健才可提高機器學習準確率, 成為 AI 必備的先決條件.
映像辨識能力 / 圖: 劍橋大學
企業也希望讓 AI 的投資最終可變現, 而非學術單位般的不停研究. 外媒 CIO 也提道, 如何將 AI 投資以正確商業化為導向, 為企業領導的重要任務.
另外, 在現今的時代背景, AI 運行的成本及難易度也大幅縮減. 不僅「平台為服務」(PaaS) 公司向企業們提供了較多可訓練計算機的數據, 也使各設備的通用化 (interoperability) 程度提高. 再者, 大量成熟的機器學習圖庫及 API 更是降低了跨入 AI 的門坎.
隨著支援 AI 和物聯網的新技術降臨, 企業組織必須堅持開發的重點, 已防止時辰範圍蔓延導致無限期的開發周期. 為了達到裡程碑的時間段, 留住人才變得越來越必要.
機器映像辨識能力 / 圖: 劍橋大學
SADA 並呼籲, 圍繞新興技術的新聞, 會引發企業更願意投資於新科技, 但是安全和隱私往往落後於技術的開發, 而投資新科技必定有資汛安全方面的隱憂, SADA 認為, 企業們如真的想要成為新興技術的先驅者, 那麼就不能忽視新興科技的安全測試.
在牛津大學 2018 年的一份報告中, 研究人員就提道, AI 技術中只要有一個漏洞, 就可能會破壞機器學習的工作流程效率, 還會危及業務的營運, 若忽視了安全測試的重要性, 恐怕會得不償失.
區塊鏈早已從去年就吸引了科技媒體的大量關注, 但它在企業投資方面落後於物聯網和 AI. 隨著越來越多的企業開始分享區塊鏈技和實際應用成功的案例, 未來這塊領域的投資, 估計將與物聯網和 AI 來相互競爭. 钜亨網
2.AI口譯官發展史;
在2018年的博鼇亞洲論壇中, 除了主要議程外, 最引人注目的熱點是首次引進了人工智慧進行會議中的即時口語翻譯. 然而, 人工智慧並沒有出現原先大肆宣稱的「讓即時口譯業界面對即將失業的威脅」, 相反的, 嚴重失誤的翻譯結果, 反倒讓即時口譯從業人員鬆了口氣, 看來這行飯還可以吃很久.
《聖經. 舊約. 創世紀》第11章記載, 在大洪水退去後, 這世界上的人類都是諾亞的子孫, 說同樣的語言. 那時人類開始合作, 建造名為巴別塔的通天之塔. 這個舉動驚動了神, 因此神讓全世界的人類開始有了不同的語言, 從此人類再也無法齊心合作. 造通天塔的計劃以失敗告終, 語言差異也成為了人類溝通時最大的障礙. 也許是血液中仍有想要重建巴別塔的夢想, 因此翻譯就成為人類在過去千百年歷史不斷演化的重點文化工程.
語言的隔閡並不是那麼容易打破的, 尤其是要跨語言來理解同樣的概念. 人類曆史上第一次出現跨語言的平行語料, 是製作於公元前196年的羅賽塔石碑(Rosetta Stone), 上面同時使用了古埃及文, 古希臘文以及當地通俗文字, 來記載古埃及國王托勒密五世登基的詔書. 這也是翻譯的重大裡程碑.
基於規則的機器翻譯
至於機器翻譯的源頭, 可以追溯至1949年, 資訊理論研究者Warren Weave正式提出了機器翻譯的概念. 五年後, 也就是1954年, IBM與美國喬治敦大學合作公布了世界上第一台翻譯機IBM-701. 它能夠將俄語翻譯為英文, 別看它有巨大的身軀, 事實上它裡面只內建了6條文法規則, 以及250個單字. 但即使如此, 這仍是技術的重大突破, 那時人類開始覺得應該很快就能將語言的高牆打破.
可能是神察覺有異, 又對人類重建巴別塔的計劃潑了一桶冷水. 1964年, 美國科學院成立了語言自動處理諮詢委員會(Automatic Language Processing Advisory Committee, ALPAC). 兩年後, 在委員會提出的報告中認為機器翻譯不值得繼續投入, 因為這份報告, 造成接下來的十來年中, 美國的機器翻譯研究幾乎完全停滯空白.
從IBM的第一台翻譯機誕生到20世紀80年代, 那時的技術主流都是基於規則的機器翻譯. 最常見的作法就是直接根據詞典逐字翻譯, 雖然後來也有人倡議加入句法規則來修正. 但是老實說, 翻出來的結果都很令人沮喪, 因為看起來蠢到極點. 因此, 到了80年代這樣的作法就銷聲匿跡了.
為何語言沒辦法套用規則? 因為語言是極其複雜且模糊的系統, 從字的歧義到各種修辭, 根本不可能窮舉出所有規則. 但有趣的是, 不少近期投身於自然語言的新創公司, 仍然企圖用窮舉規則來解決中文語義, 但這種想法鐵定會是以失敗告終的.
我在這舉個例子來說明為何規則是不可行的. 先別提翻譯在兩個語言轉換的複雜性, 光是從中文來說, 「快遞送貨很快」這樣的概念你能想到多少種講法? 10種? 還是100種? 在我們之前做過的自然語言統計數據來看, 一共可能會有3600種講法, 而且這個數字應該還會隨時間增加. 光一個概念如此簡單的句子就能有那麼複雜的規則體系, 若用到翻譯恐怕規則量會是個驚人的天文數字, 因此基於規則的機器翻譯思路就成為了昨日黃花.
基於實例的機器翻譯
在全世界都陷入機器翻譯低潮期, 卻有一個國家對於機器翻譯有著強大的執念, 那就是日本. 日本人的英文能力差舉世皆知, 也因此對機器翻譯有強烈的剛性需求.
日本京都大學的長尾真教授提出了基於實例的機器翻譯, 也就是別再去想讓機器從無到有來翻譯, 我們只要存上足夠多的例句, 即使遇到不完全匹配的句子, 我們也可以比對例句, 只要替換不一樣的詞的翻譯就可以. 這種天真的想法當然沒有比基於規則的機器翻譯高明多少, 所以並未引起風潮. 但是沒多久, 人類重建巴別塔的希望似乎又重見曙光.
基於統計的機器翻譯
引爆統計機器翻譯熱潮的還是IBM, 在1993年發布的《機器翻譯的數學理論》論文中提出了由五種以詞為單位的統計模型, 稱為「IBM模型1」到「IBM模型5 」.
統計模型的思路是把翻譯當成機率問題. 原則上是需要利用平行語料, 然後逐字進行統計. 例如, 機器雖然不知道「知識」的英文是什麼, 但是在大多數的語料統計後, 會發現只要有知識出現的句子, 對應的英文例句就會出現「Knowledge」這個字. 如此一來, 即使不用人工維護詞典與文法規則, 也能讓機器理解單詞的意思.
這個概念並不新, 因為最早Warren Weave就提出過類似的概念, 只不過那時並沒有足夠的平行語料以及限於當時計算器的能力太弱, 因此沒有付諸實行. 現代的統計機器翻譯要從哪裡去找來「現代的羅賽塔石碑」呢? 最主要的來源其實是聯合國, 因為聯合國的決議以及公告都會有各個會員國的語言版本, 但除此之外, 要自己製作平行語料, 以現在人工翻譯的成本換算一下就會知道這成本高到驚人.
在過去十來年, 大家所熟悉的Google翻譯都是基於統計機器翻譯. 聽到這, 應該大家就清楚統計翻譯模型是無法成就通天塔大業的. 在各位的印像中, 機器翻譯還只停留在「堪用」而非是「有用」的程度.
神經網路機器翻譯
到了2014年, 機器翻譯迎來了史上最革命的改變——「深度學習」來了!
神經網路並不是新東西, 事實上神經網路發明已經距今80多年了, 但是自從2006年Geoffrey Hinton(深度學習三尊大神之首)改善了神經網路優化過於緩慢的致命缺點後, 深度學習就不斷地伴隨各種奇蹟似的成果頻繁出現在我們的生活中. 在2015年, 機器首次實現映像識別超越人類; 2016年, Alpha Go戰勝世界棋王; 2017年, 語音識別超過人類速記員; 2018年, 機器英文閱讀理解首次超越人類. 當然機器翻譯這個領域也因為有了深度學習這個超級肥料而開始枝繁葉茂.
深度學習三大神中的Yoshua Bengio在2014年的論文中, 首次奠定了深度學習技術用於機器翻譯的基本架構. 他主要是使用基於序列的遞歸神經網路(RNN), 讓機器可以自動捕捉句子間的單詞特徵, 進而能夠自動書寫為另一種語言的翻譯結果. 此文一出, Google如獲至寶. 很快地, 在Google供應充足火藥以及大神的加持之下, Google於2016年正式宣布將所有統計機器翻譯下架, 神經網路機器翻譯上位, 成為現代機器翻譯的絕對主流.
Google的神經網路機器翻譯最大的特色是加入了注意力機制(Attention), 注意力機制其實就是在模擬人類翻譯時, 會先用眼睛掃過一遍, 然後會挑出幾個重點字來確認語義的過程(圖2). 果然有了注意力機制加持後威力大增. Google宣稱, 在「英—法」, 「英—中」, 「英—西」等多個語對中, 錯誤率跟之前的統計機器翻譯系統相比降低了60%.
神經網路雖然可以根據現有的平行語料學習, 理解句中細微的語言特徵, 但是它並非完美無缺, 最大的問題來自於需要大量的語料以及它如黑盒子般的難以理解. 也就是說, 就算出了錯也無從改起, 只能夠供應更多的正確語料來讓「深度學習」改正. 也因此同樣一個句型, 卻可以有截然不同的翻譯結果.
2018年2月, 微軟(Microsoft)讓機器語言理解超越人類後馬上又有新舉措. 3月14日, 微軟亞洲研究院與雷德蒙研究院的研究人員宣布, 其研發的機器翻譯系統在通用新聞報導測試集Newstest2017的中英翻譯測試集上, 達到了可與人工翻譯媲美的水平. 這自然是神經網路機器翻譯的一大勝利, 當然在架構上也有了不少創新, 其中最值得注意的是加入了對偶學習(Dual Learning)以及推敲網路(Deliberation Networks).
對偶學習要解決平行語料有限的問題, 一般來說深度學習必須同時要提供給機器答案, 這樣機器才能夠根據它的翻譯結果與答案間的差異持續修正改進. 至於推敲網路也是模仿人類翻譯的過程, 通常人工翻譯會先做一次粗略的翻譯, 然後再將內容調整為精確的二次翻譯結果, 其實各位可以發現不管再聰明的神經網路, 最終仍要參考地表上最聰明的生物, 也就是身為人類的我們.
語言無法脫離使用情境
機器翻譯的發展並不意味著未來翻譯界人士將會沒有飯吃了. 可以注意到的是, 微軟發表會曾強調「通用新聞報導測試集Newstest2017」的「中英翻譯測試集」上, 數據集表現好未必能與通用性划上等號, 這也就可以說明為何騰訊翻譯君明明平常口碑不錯, 但是為何在博鼇即時口譯卻表現失准.
即時口譯可說是翻譯任務的頂點, 除了要有正確聽力理解原句, 還要在有限時間內轉換為其他語言. 而且別忘了講者不會給翻譯任何等待的時間, 所以等於語音識別與機器翻譯必須同步處理, 再加上現場雜音, 講者的表達方式, 語氣詞感歎詞等等幹擾因素, 都有可能會造成機器的誤判.
就我看來, 騰訊翻譯君, 可被指責的點可能只是不夠用功, 沒有把關鍵的專有名詞錄入, 這才會發生「一條公路和一條腰帶」這種「經典錯誤」.
從圖3也可以看到一個有趣的差異, 為何西方機器翻譯錯得離譜, 但是本國的機器翻譯卻幾乎都能掌握原意? 這是因為語言不能脫離人類的使用場景而存在. 即我們語文學習中常強調的上下文(Context), 這來自於我們過去的文化, 過去共有的記憶所構成的. 沒讀過唐詩的Google自然無法理解這句詩的精髓. 語言會是人工智慧時代人類最後的壁壘, 因為語言會因人類的使用不斷地發生變化, 這是機器很難完美替代的.
隨著技術進步, 終有一天, 機器翻譯會從「堪用」變成「有用」, 再進化至「好用」. 但如同我一直以來的論點, 機器不會搶了人類的工作, 能讓人類失業的其實只有我們自己. 如何善用人工智慧成為自己的工具, 把自己從無聊繁瑣的工作中抽身, 這才是面對未來的正確姿勢. 新電子
3.AI, 大數據與個人隱私的拉鋸戰才剛開始;
近期最火熱的話題, 就非大數據莫屬, 包括中國大力舉辦的 2018 數博會, 不可諱言, 大數據最重要的就是數據的收集, 但是歐盟又公布了 General Data Protection Regulation (GDPR), 堪稱是有史以來最嚴格的個人資料保護法, 也點燃大數據發展與個人資料與的爭議.
大數據之所以能夠成為有效的數據, 重點是數據的搜集及分析, 而且越多的數據, 才能分析出最貼近的數據, 成為有用的數據.
不過數據數據的來源, 卻成為大家議論的焦點, 在國家主義下, 個人似乎有被迫犧牲自身權益, 讓國家得以遂行政策, 這在中國最為明顯, 中國在大數據的發展相當迅速, 政府也規劃很多政策, 甚至還有所謂的扶貧, 脫貧等, 宛如有了大數據, 一切問題都不是問題, 但很多大數據數據, 其實都是當事人犧牲個人資料權利, 這在強調個人隱私的國家, 是不可能發生的事.
台灣企業發展的方向集中在工業大數據, 其中最發展最迅速的還是鴻海 , 長達 40 年的生產數據, 是鴻海最大的優勢, 也是台灣在發展大數據有機會的地方.
不過台灣如果要發展像中國大陸那樣的大數據, 關乎到人民隱私的領域, 基本上, 有很多窒礙難行之處, 光是一個 ETC 紀錄, 就會引發侵犯隱私的可能, 更不用說是有關直接有關個人隱私的大數據, 大數據到底能否成功, 恐怕還要在公共利益及個人隱私的天平上繼續拔河. 钜亨網
4.AI推論進駐邊緣節點 影像/語音應用各佔半邊天;
2018年AIoT(AI+IoT)市場成長驚人, 驅動了各種裝置的發展, 同時也促使深度學習功能逐漸由雲端轉向邊緣運算, 以實現低延遲, 低網路頻寬, 高隱私, 高效率的人工智慧應用體驗.
隨著人工智慧(AI), 邊緣運算(Edge Computing)等技術近年快速發展, 智能家庭這個概念所包含的各種消費性電子及家電產品, 都將陸續發生革命性的轉變. 最終, 由各種家庭設備所組成的人工智慧網路, 可能將成為你我看不到的另一個家庭成員. 而本地雲端的概念及其相關設備, 將是實現家庭人工智慧網路不可或缺的要素.
智能音箱/監控將成消費性AI兩大主軸
研究機構Ovum負責追蹤消費性科技發展的研究員Ronan de Renesse(圖1)表示, AI在消費性電子領域的應用, 近一兩年常常成為媒體關注的焦點, 但消費性電子與AI結合的趨勢, 現在才剛開始發展而已. 在未來三到五年內, 許多消費性電子產品都會搭載AI功能, 而且會彼此連結, 組成家庭裡的人工智慧網路.
圖1 Ovum消費性科技研究員Ronan de Renesse認為, 未來家庭中的各種電子設備, 將成為一個隱形的家庭新成員.
對硬體產業鏈而言, 這個趨勢固然會帶來許多新的商機, 但若從更高的層次來看, 這個悄悄進駐家中的人工智慧網路, 將會成為你我看不到的另一個「家庭成員」.
就硬體面來說, 大家耳熟能詳的智能音箱, 基本上是個相對成熟的產品, 在未來五年雖然銷量還會有明顯成長, 但成長力道將逐漸放緩. 預估到2022年時, 全球智能音箱的銷售金額將接近95億美元. 事實上, Renesse認為, 亞馬遜(Amazon)跟Google未來很可能不會再推出自有品牌的智能音箱, 因為這類產品本身的獲利空間不大, 對這兩家網路巨頭來說, 只要硬體業者用的是它們的平台服務, 能搜集到其所需要的用戶數據 , 目的就達成了.
同一期間, 家用智能監控系統這類產品的變化, 會比智能音箱更明顯. 目前所謂的家用智能監控產品, 其實並沒有人工智慧的成分, 而是將攝影機, 警報器, 門鎖, 感測器等硬體產品彼此連接, 形成一個支援事件觸發(Event Trigger)功能的保全系統. 但隨著相關軟硬體技術日益成熟, 未來家用監控攝影機搭載人工智慧的比例將會越來越高, 同時也能實現更多應用, 例如和語音助理搭配應用, 在多人使用的環境下, 更準確地為多名用戶提供不同服務.
消費性AI應用首重隱私保障
不過, 對硬體業者來說, 最值得注意的, 可能是本地雲端(Local Cloud)的概念及相關應用產品, 將隨著家中設備普遍支援AI而竄起. Renesse指出, 搭載AI功能的電子產品會產生大量用戶數據, 而且其中有很多是攸關個人隱私的數據. 因此, 如果這些搭載人工智慧的家庭電子產品完全得仰賴外部雲端才能運作, 顯然會造成隱私疑慮.
另一方面, 很多功能比較單純的消費性物聯網裝置, 受到電力, 運算能力, 生產成本等條件限制, 未必能支援很高階的AI演算法. 這時候, 本地雲端裝置將可扮演大腦的角色, 統一對這些裝置發號施令.
但Renesse也坦言, 目前還很難斷言哪種設備會扮演本地雲端中心. 有可能是比較高階的智能音箱, 也可能是智能電視或其他產品.
Arm資深市場營銷總監Ian Smythe(圖2)也認為, 相信未來將會有越來越多的運算和推論(Inference)引擎移至終端. 促成此一轉移的主要驅動力, 就是為了保障用戶的隱私. 藉由在終端處理分析的工作, 可以輕易的將數據匿名, 並確保敏感數據不會透過網路外泄. 以家庭應用為例, 消費者不會希望有人能從網路上得知自己家裡沒人的時間, 進而輕易地到家中偷竊.
圖2 Arm資深市場營銷總監Ian Smythe表示, 對消費性AI應用來說, 隱私保障機制是否可靠, 將是應用能否普及的關鍵.
針對視覺應用, Smythe認為, 支援視覺辨識功能的相機在本質上有些重要隱私問題的考慮. 很顯然地, 這些裝置必須經過設計, 使其不論在本機儲存或是傳輸到雲端時, 都能保護隱私及敏感的資訊. 由於傳輸通常以無線方式連接, 必須特別留心無線傳輸功能安全. 設計裝置的工程師必須確保網路聯機的裝置不會被黑客入侵, 窺伺.
電池壽命仍為主要技術挑戰
不過, 要將AI推向邊緣節點, 目前最大的技術挑戰仍是系統的耗電量. 以消費型監控攝影機為例, 消費者可能期望這類產品是完全無線的, 最好連電源線都不要. 這意味著這類產品必須以電池供電, 而且還要支援無線網路. 此外, 它還要能夠辨識所有物品, 以及需要無限的儲存空間.
上述需求對系統設計帶來很大的挑戰, 需要能夠數月不斷電的電池以運行機器學習(ML)的能力, 以及持續上傳檔案至雲端儲存的能力. 這些極端的情況對晶片設計和系統組件的要求相當嚴苛, 最重要的是, 他們掌握了在何時啟用這些功能的編排, 以延長電池壽命.
以家用監控攝影機來說, 攝影機並不需要24小時傳送空房內的影像, 僅在有未確認身分的人出現時上傳該部分的影像才合理. 同樣道理, 在像空房這樣場景不變的情況下, 啟用ML演算法並沒有意義. 縝密地安排在何處, 何時啟用這些功能, 才能讓消費性裝置得以在預期運作模式下, 僅需2顆AA電池, 便能長期正常使用.
也因為功耗是AI進駐終端裝置的主要障礙之一, 目前市場上有許多家新創公司均看準這個機會, 推出低功耗神經網路(NN)加速器矽智財(IP), 以便協助晶片開發商在降低功耗的同時, 又能滿足演算法推論所需要的效能. 耐能智能(Kneron)日前正式發布其神經網路處理器(NPU)系列, 是針對終端裝置所設計的專用人工智慧處理器IP. 該系列包括三款產品, 分別為超低功耗版KDP 300, 標準版KDP 500, 以及高效能版KDP 700, 可滿足智能手機, 智能家居, 智能安防, 以及各種物聯網裝置的應用. 全系列產品具備低功耗, 體積小的特性, 且提供強大的運算能力. 有別於市面上用於人工智慧的處理器功耗動輒數瓦起跳, Kneron NPU IP的功耗為100毫瓦(mW)等級, 針對智能型手機臉部辨識專用的KDP 300, 功耗甚至不到5毫瓦.
耐能產品營銷暨應用經理史亞倫(圖3左)指出, 要在終端裝置上進行人工智慧運算, 同時滿足功耗與效能需求是首要考慮. 因此, 針對個別應用推出優化的解決方案, 是非常關鍵的. 目前人工智慧的應用可大致分為語音跟影像兩大類, 其所使用的神經網路結構是不同的. 語音應用的重點在自然語言分析, 主流的網路架構是遞歸神經網路(RNN); 影像分析所使用的主流網路結構則是卷積神經網路(CNN). 為針對不同網路結構進行優化, 耐能提供的解決方案也不一樣.
耐能軟體設計經理沈銘峰(圖3右)則補充, 雖然自然語言分析對晶片運算效能的需求較低, 但由於語言的腔調, 說話習慣有很大的歧異, 因此其模型訓練所需的數據集遠比影像辨識來得龐大. 另一方面, 由於消費者已經很習慣使用蘋果(Apple) Siri, Google Assistant等以雲端為基礎的語音助理, 因此, 離線式的語意分析應用要獲得消費者青睞, 先決條件是必須在有限的運算資源下提供消費者近似的使用體驗. 這對於晶片供貨商跟系統開發商來說, 挑戰還是不小.
圖3 耐能產品營銷暨應用經理史亞倫(左)認為, 語音跟影像辨識在本質上有很大的不同, 需要靠不同解決方案來滿足. 右為耐能軟體設計經理沈銘峰.
事實上, 目前絕大多數的智能音箱, 都還不算是邊緣運算產品. 史亞倫指出, 不管是亞馬遜(Amazon)的Echo, 蘋果的Homepod或是採用百度, 阿里巴巴平台的智能音箱, 都還是要將數據傳回雲端進行處理跟語意解析, 才能響應用戶. 能在終端產品上直接執行的語音操作, 基本上多半採用規則模式(Rule-based), 而非基於機器學習的自然語意理解.
耐能自2016年推出該公司首款終端裝置專用的人工智慧處理器NPU IP後, 就不斷改善其設計與規格, 並針對不同產業應用進行優化. 在目前已開始提供給客戶的IP中, KDP 500已獲得系統廠客戶採用, 將於第二季進入量產製造(Mask Tape-out). 與搜狗合作的語音識別, 也已經實現離線語意解析, 讓終端設備即便不連上網路, 也能聽得懂用戶的語音指令.
Kneron NPU IP是針對終端裝置所設計的專用人工智慧處理器, 讓終端裝置在離線環境下, 就能運行ResNet, YOLO等深度學習網路. Kneron NPU為完整的終端人工智慧硬體解決方案, 包含硬體IP, 編譯程序(Compiler)以及模型壓縮(Model Compression)三大部分, 可支援各種主流的神經網路模型, 如Resnet-18, Resnet-34 , Vgg16, GoogleNet, 以及Lenet等, 以及支援主流深度學習框架, 包括Caffe, Keras和TensorFlow.
Kneron NPU IP功耗為100毫瓦等級, 超低功耗版的KDP 300甚至不到5毫瓦, 全系列產品的每瓦效能在1.5 TOPS/W以上, 由於採用了多項獨家技術, 因此能滿足晶片商, 系統商對低功耗, 高運算力的需求.
鎖定基本元素 硬體加速器不怕技術迭代
使用固化(Hardwired)電路來提升某些特定運算任務的執行效率, 降低功耗, 在晶片設計領域行之有年, 但其代價是應用彈性較低, 萬一市場對晶片功能的需求出現重大變化, 或是軟體演算法大幅修改, 晶片設計者就得重新開發新的晶片.
在市場對晶片功能的需求已經大致底定的情況下, 這種設計方式不是問題, 但在技術迭代速度很快的新興技術領域, 採取這種設計途徑, 在商業上就會有比較大的風險. 人工智慧就是技術迭代十分快速的領域, 幾乎年年都有新的演算法跟模型問世. 研究機構Open AI更指出, 過去6年間, AI模型訓練對運算效能需求, 每3.43個月就會增加一倍.
對此, 沈銘峰指出, 硬體加速器未必是毫無彈性的. 以耐能的產品為例, 在架構設計上, 該公司運用卷積核拆分(Filter Decomposition)技術, 將大卷積核的卷積運算區塊分割成多個小卷積運算區塊分別進行運算, 然後結合可重組硬體卷積加速(Reconfigurable Convolution Accelerating)技術, 將多個小卷積運算區塊的運算結果進行融合, 以加速整體運算效能.
用比較容易理解的比喻, 就像樂高積木可以組合搭建成各種型態的對象, 但整個對象本身仍是由少數幾種基本方塊堆棧而成. 耐能的方案是針對AI演算法不可或缺的基本元素進行加速, 藉此提升整個演算法的執行效能, 因此, 即便AI演算法更新的速度極快, 耐能的方案還是能發揮加速效果.
除了加速器本身的設計是針對基本元素, 而非特定演算法整體進行加速外, 耐能還提供其他與AI應用加速或部署的技術, 例如其模型壓縮(Model Compression)技術便將未經優化的模型壓縮數十倍; 記憶體分層儲存技術( Multi-level Caching)可減少佔用CPU資源以及降低數據傳輸量, 進一步提升整體運作效率. 此外, Kneron NPU IP能結合Kneron影像辨識軟體, 提供即時辨識分析, 快速響應, 不僅更穩定, 也能滿足安全隱私需求. 由於軟硬體可緊密整合, 讓整體方案體積更小, 功耗更低, 以協助產品快速開發.
影像辨識AI走向邊緣更迫切
整體來說, 目前市場對影像辨識的需求較為迫切, 離線語意分析雖然有智能音箱這個潛在的龐大應用市場, 但業者對此投注的資源反而較少. 造成此一現象的關鍵原因在於, 影像傳輸會佔用大量頻寬, 從而墊高整個系統的持有成本, 語音則沒有這個問題.
晶心科技總經理林志明(圖4)說明, 在人工智慧與物聯網結合的過程中, 也將帶動邊緣運算技術導入的需求. 邊緣運算技術將會被應用於各種不同的新興應用領域, 在此趨勢之中, 彈性, 快速是台灣廠商的最大優勢. 對於大多台灣廠商與IC設計公司而言, 由邊緣端切入人工智慧市場也較為容易.
圖4 晶心科技總經理林志明預估, IP Cam將是率先在邊緣裝置上執行AI推論的主要應用之一.
同時, 由於邊緣運算技術的導入, 也將帶來記憶體, 傳輸等等硬體需求的提升, 將大幅拉高製造成本. 由於影像相關的系統單晶片(SoC)原先就相對於其他應用更加複雜, 對於成本的耐受度也較大, 因此, 邊緣運算技術預計將由IP Cam等影像相關應用率先導入.
人工智慧應用可以分為訓練以及辨識兩個部分討論. 在深度學習的巨量運算過程, 短時間內依然會由雲端運算處理. 而邊緣運算所負責的任務, 則是將搜集到的資訊先做初步的處理, 將不重要的資訊過濾掉之後, 再將數據上傳至雲端, 以節省傳輸成本. 另一方面, 由雲端完成的深度學習成果, 也能夠使終端的辨識功能更加智能. 以IP Cam為例, 影像深度學習的工作能夠先由雲端運算完成, 待機器學會辨認行人, 車輛之後, 邊緣端的IP Cam只須執行辨認工作即可.
另一方面, 更由於IP Cam在治安維護, 小區安全上的應用廣泛, 因此政府與企業相對願意支援投入, 這也將成為IP Cam發展較為快速的原因.
林志明分享, 目前許多廠商皆在摸索該如何將人工智慧導入自家晶片, 系統之中. 目前的狀況類似於物聯網剛開始興盛時, 大家都還在摸索應用該如何切入, 估計在2020年左右廠商會推出更多實際的產品.
即時性應用必然採用邊緣運算架構
人工智慧是時下熱議題, 其中, 由雲端運算架構逐漸轉移至邊緣運算架構, 將會為供應鏈各廠商帶來不小的影響. 儘管短時間內人工智慧的發展將依然以雲端運算為主, 然而, 許多關於視覺應用人工智慧功能將開始導入邊緣.
賽靈思(Xilinx)視覺智能策略市場開發總監Dale K. Hitt(圖5)指出, 在可預見的未來裡, AI發展中的訓練組件可能仍由雲端運算主宰. 然而, 推論/部署組件已開始使用邊緣運算來支援各種需要低延遲與網路效率的應用.
圖5 賽靈思視覺智能策略市場開發總監Dale K. Hitt認為, 對需要極低延遲的應用來說, 邊緣運算將是最好的解決方案.
對於邊緣操作數件而言, 用於視覺相關應用的機器學習, 將是其中一項關鍵且影響深遠的大趨勢. 並且, 在工業機器視覺, 智能城市, 視覺分析以及自駕車市場都有強勁的成長潛力. 就工業視覺與消費應用而言, 由於邊緣運算須執行機器學習演算法, 因此對於效能的要求也比先前世代方案高出許多. 此外, 機器學習邊緣演算法/功能也已快速演化, 因此各界需要具備自行調適能力的硬體, 來針對未來機器學習推論架構進行優化.
Hitt以自駕車為例, 自駕車中每個感測器背後都有精密演算法支援, 負責從感測器數據中產出感知判讀的結果. 最新的趨勢是運用深度學習演算法來產出這些感知判讀結果, 然而, 深度學習演算法必須透過數量龐大的潛在情境加以訓練, 來學習如何判讀所有可能出現的感測器數據.
在經過訓練後, 深度學習演算法需要極高的運算效能與超低的延遲, 才能安全地操控車輛. 對於電動車而言, 則必須運用低功耗來因應工作溫度限制及延長電池電力. 半導體商的目標, 是提供高效能, 低耗電, 具調適能力的解決方案, 來滿足自駕車運行邊緣AI的各種需求.
在邊緣運算髮展的過程中, 最大挑戰在於市場的需求變化太快速, 因此能針對各種變化快速調適的技術極為重要, 才能讓企業維持競爭力.
Hitt進一步說明, 深度學習演算法正以飛快的速度持續進步, 許多2017年的領先解決方案至今已面臨淘汰的命運. 即使現在具有高出他人許多的能力, 隨著運算需求不斷攀升, 硬體方面仍須進行優化. 硬體必須以更快的速度更新, 才能避免被淘汰, 有些硬體甚至在投產中就面臨須更新的需求. 許多替代技術還須召回原廠來更新晶片.
Hitt補充, FPGA獨特的優勢在於包括運算, 記憶體架構以及連結等方面都能進行深度硬體優化. 和CPU與GPU相比, 優化後能以更低的功耗達到較高的效能, 而前兩者的硬體架構無法針對新衍生的需求快速進行優化.
邊緣運算大勢不可擋
仰賴雲端數據中心運作的AI應用, 雖然有極高的運算能力支援, 使其辨識正確性普遍高於依照簡化模型推論的邊緣裝置, 但在考慮到隱私疑慮, 即時響應與聯機成本等諸多因素後, 直接在邊緣裝置進行推論, 仍是十分有吸引力的選擇. 另一方面, 終端裝置的市場規模遠比雲端數據中心大, 有很強的經濟誘因. 這也是過去一年AIoT口號喊得震天價響, 各大半導體業者積極布局的原因.
展望未來, 完全由雲端支撐的AI應用仍會存在於市場上, 但比重勢必逐年降低, 取而代之的將是混合了雲端與邊緣運算的新架構. 對AI應用開發者來說, 雲端不可被替代的價值在於進行模型訓練, 而不是執行推論. 也因為這個緣故, 對應用開發者來說, 解決方案供貨商能否在「雲」與「端」之間實現無縫接軌, 將是應用開發者在評估供貨商時, 最重要的考慮. 新電子
5.麻省理工畢業生本月將獲得區塊鏈畢業證書
新浪科技訊 北京時間6月3日下午消息, 區塊鏈技術能夠讓麻省理工學院 (MIT) 的畢業生以數字化的方式管理自己的學術履曆.
位於美國麻薩諸塞州劍橋市的軟體公司Learning Machine和麻省理工學院的媒體實驗室以及註冊辦公室合作, 學生可以選擇下載區塊鏈錢包, 安全存儲和分享自己的文憑.
據《麻省理工科技評論》報道, 在最初的試點項目取得成功之後, MIT決定從本月開始為所有新的畢業生提供區塊鏈錢包服務.
'我不相信中央機構能夠以數字化的方式掌控大家的學習記錄. ' 媒體實驗室的學習創新主管Philipp Schmidt表示.
推出區塊鏈形式文憑的目的是要讓學生能夠及時可靠地獲取到自己的學曆證明, 這樣以來, 潛在僱主也就不必再打電話聯繫學校來確認其文憑是否真實.
想要獲得數字文憑的新畢業生只需要下載一個app即可.
'在畢業之前, MIT會給學生髮送一封邀請郵件. 郵件中寫道—— '嘿, 來下載Blockcerts Wallet吧, 接受密碼然後將MIT添加為發行方' . ' Learning Machine的首席執行官Chris Jagers說道, '當MIT發放了文憑, 學生就會收到一封帶有數字檔案的郵件, 他們可以直接將其導入到應用裡. '