在电脑视觉方面, 如IBM Research的电脑视觉与多媒体研究经理Rogerio Feris所言, 最大的挑战在于如何 '让视觉分析更有效率' . 要特别说明的是, AI仍在早期发展阶段, 需要全新的想法, 长期性的眼光, 以及学界与研究机构在研发上的更多投入.
IBM Research会在本周于盐湖城(Salt Lake City)举行的2018年度电脑视觉与图形识别研讨会(Conference on Computer Vision and Pattern Recognition, CVPR)上, 发表两篇关于AI软体与硬体技术的论文; CVPR是由电脑视觉基金会(Computer Vision Foundation)以及IEEE电脑学会赞助, 号称是最具竞争力的电脑视觉技术研讨会之一.
在AI硬体部分, IBM Research正在推广一种立体视觉(stereo-vision)系统, 是透过将以大脑启发的棘波神经网路(spiking neural-network)技术应用于数据撷取(传感器)与数据处理所开发; 该设计利用了IBM自家的TureNorth芯片──是一种非冯诺伊曼(non-von-Neumann)架构处理器──以及一对瑞士业者iniLabs开发的事件导向(event-driven)摄影机
IBM的TrueNorth架构 (来源: IBM)
在AI软体部分, IBM Research的论文是关于 'Blockdrop' , 也就是被认为可降低深度残差网路(deep residual networks)所需之总运算量的关键步骤. Feris解释, 以上两篇论文是从两个不同角度解决一个相同的问题──视觉分析效率.
Feris表示, 当有人要过马路, 自动驾驶车辆会被预期要做出 '即时推论' ; 虽然影像辨识准确度很重要, 不过自驾车要花多少时间产生结论, 识别出那是什么东西, 才是它在现实世界应用的终极试验.
什么是 'Blockdrop' ?
在2015年ImageNet大会上成为赢家的残差网路, 在电脑视觉技术社群掀起了一场风暴; 该技术已经证明了它能提供优异的识别结果, 因为能训练神经网路中的数百甚至数千层. 不过Feris指出: '将残差网路需要的那些一体适用运算应用于所有成像, 会太没有效率; ' 他解释, 如果有一只狗在白色背景前, 会比在忙碌都市街景中更容易被识别.
为此IBM Research开发了BlockDrop, 这是一种学习动态选择残差网路中哪些区块(包括多个层)来执行推论任务的方法; Feris指出: '该方法的目标是妥善减少整体运算辆, 同时不损失预测准确度. '
BlockDrop说明 (来源: IBM)
IBM声称, BlockDrop在测试中平均能将识别速度提升20%, 有时甚至能加快36%, 而且不牺牲残差网路在ImagNet数据集中达到的准确度. Feris表示, IBM这项研究是在2017年夏天与美国德州大学(University of Texas), 马里兰大学(University of Maryland)合作展开, 该公司将会把BlockDrop释出给开放源码社群.
立体视觉应用的神经形态技术
在硬体方面, IBM Research瞄准了一种利用棘波神经网路的立体视觉系统; 该公司表示, 目前产业界是使用两个传统(讯框)摄影机来产生立体视觉, 但从未有人尝试过神经形态技术. 虽然以传统摄影机提供立体影像并非不可能, 不过会需要高画质影像讯号处理, 例如高动态范围(HDR)成像, 超高解析度处理以及自动校准等.
根据IBM研究员Alexander Andreopoulos在论文中的描述, 其系统是利用两个iniLabs开发的事件导向摄影机(又被称为动态视觉传感器-DVSe), 撷取画面之后以IBM TrueNorth芯片丛集来提取快速移动物体之深度.
IBM的目标是大幅降低取得立体影像所需的功耗与延迟, 在接收直播的棘波输入(这已经大幅降低数据量)后, 该系统是用IBM的神经形态硬体重建3D影像, 透过估算来自两个DVSe之影像的差异, 以及借由三角测量定位3D空间中的物体.
神经形态立体影像 (来源: IBM)
数据撷取与处理
有一家法国新创公司Prophesee是利用神经形态技术来撷取数据, 并降低传感器所收集的数据量; 该公司的传感器技术并非以讯框为基础, 而是以简化并打造适合机器使用的数据为设计目标. Prophesee执行长先前接受EE Times采访时表示, 这能大幅减轻数据量负担, 应该也能因此让车子能做出几乎即时性的决策.
不过新一代的IBM立体视觉系统不只将类人脑技术用于数据撷取, 也用在数据处理上, 以重建立体影像; Andreopoulos表示, 该系统还有一个最大的成就, 是透过编程让TrueNorth有效率地执行 '棘波神经网路立体视觉必备的各种常见子程序(sub-routines)' . IBM补充指出, TrueNorth芯片的架构功耗比传统系统低, 这会有利于自动驾驶系统的设计.
同样的, 利用一对DVS摄影机(非讯框式)也能降低数据量与功耗, 并提升速度, 减少延迟, 提供更好的动态范围, 而IBM表示这些都是即时系统设计的关键元素. 在被问到新的TrueNorth系统还有那些优势时, Andreopoulos表示, 与采用传统CPU/GPU处理器或FPGA的最先进系统相较, 其每画素视差图功率(power per pixel disparity map)有两百倍的改善.
利用以事件为基础的输入, 馈入IBM系统的即时影像数据, 是以9颗TrueNorth芯片进行处理, 每秒能计算400张视差图, 延迟仅11毫秒(ms). IBM在论文中指出, 借由特定的权衡(trade-offs), 该系统能将速率进一步提升到每秒2,000张视差图.
采用TrueNorth芯片的立体视觉系统何时可以商业化? Andreopoulos表示: '我们还不能透露时间点, 只能说我们已经进行测试并且成功编程芯片有效处理视差图, 现阶段是概念验证. '
编译: Judith Cheng