融合深度學習與自然語言 | 商業智能與分析平台淘金更厲害

深度學習被視為是人工智慧的重要推手, 並將大幅影響多數產業, 它是預測分析領域中最為看好的技術; 而自然語言生成則是讓商業智能與分析平台能自動找出重要研究結果並提供敘述的另一項重要技術.

Google的AlphaGo打敗頂尖職業圍棋選手, 象徵機器終於徵服了人類, 但深度學習(Deep Learning)技術的演化並不會隨著這場比賽而結束, 例如百度的語音識別率已從89%提升到99%. 此外, 深度學習技術相關的職務數量在2014年還幾乎為零, 現在卻已增加到4.1萬左右.

深度學習目前正處於Gartner新興技術發展周期(Hype Cycle)裡的期望膨脹期(Peak of Inflated Expectations)(圖1), 而Gartner所發表的2017年五大預言中, 其中一項就是深度學習將從邊緣技術演化成分析技術的關鍵元素之一.

圖1 Gartner新興技術發展周期, 深度學習目前正處於期望膨脹期.

深度學習是機器學習的一種變化, 也就是透過數據擷取知識來解決商業問題. 深度學習能搜尋出中介碼(Intermediate Representation), 讓標準的機器學習技術得以進一步拓展. 這些中介碼能處理更複雜的問題, 也可能用來解決其他問題, 不但準確度更高, 所需觀察的數量更少, 繁重的手動微調工作也更為減少.

有了深度學習, 計算機模型就能饋入大量如影像, 語音與文字等的複雜數據. 舉例來說, 深度學習運演算法能分析視網膜掃描結果, 自行「理解」哪些模式代表健康或生病的視網膜(並顯示特定疾病名稱). 這種「理解」的過程必須仰賴暴力式(Brute-force)的高效能運算, 而且就某種程度來說, 它還能淘汰過時的手工準備功能數據這類單調的工作.

圖2說明了以深度學習技術進行臉部辨識時, 如何提高視覺抽象化自動搜尋的程度.

深度學習最常見的類別就是前饋深度神經網路(Feedforward Deep Neural Network), 也就是利用無數層的互連處理單元, 從原始輸入數據中「搜尋」出適當的中介碼. 深度神經網路提供了一個強大的架構, 能應用於各式各樣的商業問題.

要訓練擁有數千甚至數百萬個參數的深度神經網路, 必須有高度迭代的運算密集程序, 利用「梯度下降(Gradient Descent)」與「反向傳播(Backpropagation)」等經驗法則式(Heuristic)數值優化技巧. 由於近年來高效能繪圖處理器(GPU)架構有所突破, 這些優化技巧現在才得以在這樣大規模的情況下實行.

近來深度學習已帶動多項重大科技突破, 被認為是人工智慧(AI)的主要推手之一, 未來3到5年將大幅影響多數產業. 因此, 數據與分析主管現在就應該採取行動, 了解相關技術的優勢與挑戰.

深度學習承襲了機器學習所有優點, 其最大的潛力在於可以得知特定領域的中介碼, 藉此提升所生成解決方案的效能. 然而, 深度學習技術的應用有很大的實作風險, 而且會因為不適當的數據, 模型不夠透明, 相關數據科學與程序設計技能的不足, 高效能運算基礎架構的需求, 以及行政支援的不確定或不統一而增加風險.

所幸大部分的深度學習功能, 都將透過應用程序編程介面(API)或軟體即服務(SaaS), 以及套裝應用程序, 以一種方便使用的形式導入企業組織.

深度學習將持續發展. 目前它是預測分析(Predictive Analytics)領域中最為看好的技術, 能處理過去被認為無法追蹤或供機器學習之用的數據種類, 例如影像, 語音及影片. 碰到複雜的數據融合問題時, 它的正確度也高於其他技術. 也因其數據融合功能優於其它的機器學習方法, Gartner預測到了2022年, 深度學習將主導大數據(Big Data)分析.

數據分析的世界看似具有無窮潛力, 但數據的整合仍是一大挑戰. 深度學習, 自然語言生成(Natural-language Generation, NLG)等自動化工具能與正確的數據相互配合, 合作無間, 但若數據不易整合, 就需要專業的數據整合人員與科學家, 才能有效地使用這些新工具.

Gartner資深研究分析師Peter Krensky表示: 「未來將出現結合專業數據整合人員與數據科學家的角色, 利用相關技術來提升效率, 同時也還有一小群公民數據科學家和公民數據整合人員, 擔任正式或半正式的角色. 數據與分析技術主管應啟用多功能型的團隊並使用沙盒(Sandbox), 以降低技術較不純熟的員工遭遇困難的風險. 」

深度學習躍升預測分析技術顯學

2018年以前, 將有80%的數據科學家將深度學習(深度神經網路)列為工具箱標準配備之一. 不論從項目還是僱用的層面來看, 深度學習都越來越受歡迎. 相關技術的快速演化, 一部分原因是由於臉書(Facebook), IBM等大型研究室投資相關研究. 在商業界, 約有30%的數據科學平台廠商已利用初版的深度學習技術推出產品.

但深度學習並不是一種獨立的技術. 事實上, 它是由機器學習所發展出第三波分析技術之一, 而企業應將機器學習視為一種有潛力的服務項目, 其可能的應用包括異常檢測, 語音控制及查詢, 情緒分析及臉部辨識.

在未來幾年內, 深度學習將大幅影響分析工具與操作實務. 目前智能型手機的用戶已可以明顯感受到變化, 例如蘋果(Apple)Siri與Google Voice的語音識別功能, 利用深度學習將新奇的技術變成實際貼近日常的功能; 而影像辨識, 語音轉換文字, 機器翻譯等各種領域, 幾乎每個禮拜也都有新的突破.

Gartner估計, 目前有超過2千家廠商開始提供深度學習工具, 雲端服務, 應用程序界面, 套裝應用程序與諮詢服務, 規模從新創企業到科技大廠都有. 因此幾乎所有產業裡任何組織都有好幾百種深度學習產品可供選擇. 而數據與分析主管也獲得一個難得的機會, 從實際的角度來評估深度學習將如何為數字商業帶來幫助. Gartner預測, 到了2019年, 深度學習將成為同類最佳(Best-in-class)故障預測, 需求預測與詐騙預測技術的主要推手之一.

深度學習近年來在認知領域幾項突破有:

・ 影像辨識

2015年底以及2016年初, 微軟的ResNet和Google的GoogLeNet (V4)展示了驚人的影像辨識系統, 在ImageNet影像分類的工作方面表現甚至超越人類.

・ 機器翻譯

Google已推出Google神經機器翻譯(GNMT), 宣稱大幅改善了過去最先進的機內翻譯.

・ 語音識別

就類似的工作來看, 百度語音轉文字服務的表現已經超越人類. 而令人期待的進一步發展, 則可能出現在深度學習正在逐漸進軍的非認知領域:

・詐騙偵測

PayPal已開始使用深度學習, 作為攔截詐騙支付的同類最佳方法.

・ 推薦系統

亞馬遜(Amazon)已將深度學習應用在同類最佳產品的推薦.

從現在開始到2019年, 企業將主要透過整合套裝商用應用程序, 裝置或應用程序編程介面在消費領域上應用深度學習技術. 數據與分析技術主管應該開始找機會將深度學習導入組織, 尤其是具備明顯「知覺成分」的重要商業問題, 應讓學界, 研究實驗室或顧問公司參與並進一步了解深度學習, 並考慮併購具有潛力的新創企業, 以取得相關人才及技術.

商業智能與分析將納入NLG

到了 2019 年, 將有 90% 的現代商業智能與分析平台把自然語言生成列入標準功能之一

數據可視化一直是現代商業智能(BI)的主要推手之一, 但有時這種形式的數據難以完整詮釋. 自然語言生成能針對數據研究結果, 創造一種以內容為基礎的文字或語音敘述, 同時透過可視化, 為關鍵的項目產出完整故事. 現今的商業智能團隊會整合獨立式的自然語言生成引擎, 但隨著技術演化這一點也將改變; 自然語言生成將使得次世代商業智能與分析平台能自動找出重要的研究結果, 加以可視化並提供敘述. 這項技術將拓展分析技術的受眾範圍, 同時減少定期批量報告所需要的時間與成本.

數據與分析主管應開始整合自然語言生成技術與既有的商業智能/數據搜尋或其他工具, 同時針對商業智能, 數據探索與數據科學, 以及新近崛起的新創企業, 監測其是否具備潛力及發展路徑.

最後, Gartner為負責分析技術與商業智能現代化的數據與分析主管提出以下建議: 首先, 重新檢視那些缺乏解決方案但仍具備有用數據的固有問題; 在一些比較熟悉演算法的產業中, 深度學習相關的先導計劃正逐漸崛起並超越其他技術. 建議先從那些在預期成果方面已有共識的問題著手.

其次, 採用最簡單的解決方案; 對於許多商業問題來說, 「淺層(Shallow)」的機器學習仍將是最好的辦法, 能避免深度學習技術與生俱來的複雜特性.

此外, 在開始正式的深度學習實驗之前, 必須先建立主要的人才庫. 如果缺乏人才, 可考慮透過服務供貨商或學界將相關工作外包.

最後是立即驗證深度學習的成果. 嚴密監測公平性, 法令合規與道德規範方面的結果, 但不要太快放棄深度學習的實驗計劃.

2016 GoodChinaBrand | ICP: 12011751 | China Exports