Google的AlphaGo打败顶尖职业围棋选手, 象征机器终于征服了人类, 但深度学习(Deep Learning)技术的演化并不会随着这场比赛而结束, 例如百度的语音识别率已从89%提升到99%. 此外, 深度学习技术相关的职务数量在2014年还几乎为零, 现在却已增加到4.1万左右.
深度学习目前正处于Gartner新兴技术发展周期(Hype Cycle)里的期望膨胀期(Peak of Inflated Expectations)(图1), 而Gartner所发表的2017年五大预言中, 其中一项就是深度学习将从边缘技术演化成分析技术的关键元素之一.
图1 Gartner新兴技术发展周期, 深度学习目前正处于期望膨胀期.
深度学习是机器学习的一种变化, 也就是透过数据撷取知识来解决商业问题. 深度学习能搜寻出中介码(Intermediate Representation), 让标准的机器学习技术得以进一步拓展. 这些中介码能处理更复杂的问题, 也可能用来解决其他问题, 不但准确度更高, 所需观察的数量更少, 繁重的手动微调工作也更为减少.
有了深度学习, 计算机模型就能馈入大量如影像, 语音与文字等的复杂数据. 举例来说, 深度学习运算法能分析视网膜扫描结果, 自行「理解」哪些模式代表健康或生病的视网膜(并显示特定疾病名称). 这种「理解」的过程必须仰赖暴力式(Brute-force)的高效能运算, 而且就某种程度来说, 它还能淘汰过时的手工准备功能数据这类单调的工作.
图2说明了以深度学习技术进行脸部辨识时, 如何提高视觉抽象化自动搜寻的程度.
深度学习最常见的类别就是前馈深度神经网络(Feedforward Deep Neural Network), 也就是利用无数层的互连处理单元, 从原始输入数据中「搜寻」出适当的中介码. 深度神经网络提供了一个强大的架构, 能应用于各式各样的商业问题.
要训练拥有数千甚至数百万个参数的深度神经网络, 必须有高度迭代的运算密集程序, 利用「梯度下降(Gradient Descent)」与「反向传播(Backpropagation)」等经验法则式(Heuristic)数值优化技巧. 由于近年来高效能绘图处理器(GPU)架构有所突破, 这些优化技巧现在才得以在这样大规模的情况下实行.
近来深度学习已带动多项重大科技突破, 被认为是人工智能(AI)的主要推手之一, 未来3到5年将大幅影响多数产业. 因此, 数据与分析主管现在就应该采取行动, 了解相关技术的优势与挑战.
深度学习承袭了机器学习所有优点, 其最大的潜力在于可以得知特定领域的中介码, 藉此提升所生成解决方案的效能. 然而, 深度学习技术的应用有很大的实作风险, 而且会因为不适当的数据, 模型不够透明, 相关数据科学与程序设计技能的不足, 高效能运算基础架构的需求, 以及行政支持的不确定或不统一而增加风险.
所幸大部分的深度学习功能, 都将透过应用程序编程接口(API)或软件即服务(SaaS), 以及套装应用程序, 以一种方便使用的形式导入企业组织.
深度学习将持续发展. 目前它是预测分析(Predictive Analytics)领域中最为看好的技术, 能处理过去被认为无法追踪或供机器学习之用的数据种类, 例如影像, 语音及影片. 碰到复杂的数据融合问题时, 它的正确度也高于其他技术. 也因其数据融合功能优于其它的机器学习方法, Gartner预测到了2022年, 深度学习将主导大数据(Big Data)分析.
数据分析的世界看似具有无穷潜力, 但数据的整合仍是一大挑战. 深度学习, 自然语言生成(Natural-language Generation, NLG)等自动化工具能与正确的数据相互配合, 合作无间, 但若数据不易整合, 就需要专业的数据整合人员与科学家, 才能有效地使用这些新工具.
Gartner资深研究分析师Peter Krensky表示: 「未来将出现结合专业数据整合人员与数据科学家的角色, 利用相关技术来提升效率, 同时也还有一小群公民数据科学家和公民数据整合人员, 担任正式或半正式的角色. 数据与分析技术主管应启用多功能型的团队并使用沙盒(Sandbox), 以降低技术较不纯熟的员工遭遇困难的风险. 」
深度学习跃升预测分析技术显学
2018年以前, 将有80%的数据科学家将深度学习(深度神经网络)列为工具箱标准配备之一. 不论从项目还是雇用的层面来看, 深度学习都越来越受欢迎. 相关技术的快速演化, 一部分原因是由于脸书(Facebook), IBM等大型研究室投资相关研究. 在商业界, 约有30%的数据科学平台厂商已利用初版的深度学习技术推出产品.
但深度学习并不是一种独立的技术. 事实上, 它是由机器学习所发展出第三波分析技术之一, 而企业应将机器学习视为一种有潜力的服务项目, 其可能的应用包括异常检测, 语音控制及查询, 情绪分析及脸部辨识.
在未来几年内, 深度学习将大幅影响分析工具与操作实务. 目前智能型手机的用户已可以明显感受到变化, 例如苹果(Apple)Siri与Google Voice的语音识别功能, 利用深度学习将新奇的技术变成实际贴近日常的功能; 而影像辨识, 语音转换文字, 机器翻译等各种领域, 几乎每个礼拜也都有新的突破.
Gartner估计, 目前有超过2千家厂商开始提供深度学习工具, 云端服务, 应用程序界面, 套装应用程序与咨询服务, 规模从新创企业到科技大厂都有. 因此几乎所有产业里任何组织都有好几百种深度学习产品可供选择. 而数据与分析主管也获得一个难得的机会, 从实际的角度来评估深度学习将如何为数字商业带来帮助. Gartner预测, 到了2019年, 深度学习将成为同类最佳(Best-in-class)故障预测, 需求预测与诈骗预测技术的主要推手之一.
深度学习近年来在认知领域几项突破有:
・ 影像辨识
2015年底以及2016年初, 微软的ResNet和Google的GoogLeNet (V4)展示了惊人的影像辨识系统, 在ImageNet影像分类的工作方面表现甚至超越人类.
・ 机器翻译
Google已推出Google神经机器翻译(GNMT), 宣称大幅改善了过去最先进的机内翻译.
・ 语音识别
就类似的工作来看, 百度语音转文字服务的表现已经超越人类. 而令人期待的进一步发展, 则可能出现在深度学习正在逐渐进军的非认知领域:
・诈骗侦测
PayPal已开始使用深度学习, 作为拦截诈骗支付的同类最佳方法.
・ 推荐系统
亚马逊(Amazon)已将深度学习应用在同类最佳产品的推荐.
从现在开始到2019年, 企业将主要透过整合套装商用应用程序, 装置或应用程序编程接口在消费领域上应用深度学习技术. 数据与分析技术主管应该开始找机会将深度学习导入组织, 尤其是具备明显「知觉成分」的重要商业问题, 应让学界, 研究实验室或顾问公司参与并进一步了解深度学习, 并考虑并购具有潜力的新创企业, 以取得相关人才及技术.
商业智能与分析将纳入NLG
到了 2019 年, 将有 90% 的现代商业智能与分析平台把自然语言生成列入标准功能之一
数据可视化一直是现代商业智能(BI)的主要推手之一, 但有时这种形式的数据难以完整诠释. 自然语言生成能针对数据研究结果, 创造一种以内容为基础的文字或语音叙述, 同时透过可视化, 为关键的项目产出完整故事. 现今的商业智能团队会整合独立式的自然语言生成引擎, 但随着技术演进这一点也将改变; 自然语言生成将使得次世代商业智能与分析平台能自动找出重要的研究结果, 加以可视化并提供叙述. 这项技术将拓展分析技术的受众范围, 同时减少定期批量报告所需要的时间与成本.
数据与分析主管应开始整合自然语言生成技术与既有的商业智能/数据搜寻或其他工具, 同时针对商业智能, 数据探索与数据科学, 以及新近崛起的新创企业, 监测其是否具备潜力及发展路径.
最后, Gartner为负责分析技术与商业智能现代化的数据与分析主管提出以下建议: 首先, 重新检视那些缺乏解决方案但仍具备有用数据的固有问题; 在一些比较熟悉算法的产业中, 深度学习相关的先导计划正逐渐崛起并超越其他技术. 建议先从那些在预期成果方面已有共识的问题着手.
其次, 采用最简单的解决方案; 对于许多商业问题来说, 「浅层(Shallow)」的机器学习仍将是最好的办法, 能避免深度学习技术与生俱来的复杂特性.
此外, 在开始正式的深度学习实验之前, 必须先建立主要的人才库. 如果缺乏人才, 可考虑透过服务供货商或学界将相关工作外包.
最后是立即验证深度学习的成果. 严密监测公平性, 法令合规与道德规范方面的结果, 但不要太快放弃深度学习的实验计划.