Google研究团队最近在Google Research Blog上发布文章 'Mobile Real-time Video Segmentation' , 说明其已开发了一种影片分割(video segmentation)的新功能, 能直接在拍摄影片时将影片中的前景(人像等)与背景分开, 并替换成其他背景. 据Next Reality报导, 不少电影导演或影像创作者都会用影片分割来将影片的前景与背景分为两个图层, 并透过置换背景来增强影片效果, 但传统上这需要耗时费力的后制, 或需要将绿幕(green screen)当作背景进移动态捕捉以进行后制. Google研究团队利用机器学习的主流技术卷积神经网络(Convolutional Neural Networks; ConvNets)将这种耗时工作简化, 让影片在即时拍摄过程中可直接分割前景与背景, 而Google也邀请了一些YouTuber用这项新功能制作影片, 并上传到YouTube尚在测试中的短片集(YouTube stories)供网友观赏. 这项计划的Google领导者与软件工程师Valentin Bazarevsky及Andrei Tkachenka在文章中表示, 目前的目标是透过一些创作者用该新功能创作的影片来观察效果, 日后将持续增加更多对场景的 '标记' (label)来让使用者使用更多不同的背景, 并计划整合到更大的Google扩增实境(AR)服务中. 其实先前苹果(Apple)已透过Apple Clips让世人见识到即时影片分割技术, 但这需要iPhone X与其TrueDepth相机来执行, Google的电脑视觉也可让大众获得类似的体验, 事实上该团队设计ConvNets就是为了解决影片分割技术的繁复并轻松地在手机上呈现高画质影片, 该方法可在iPhone 7上运行每秒超过100帧率(FPS)的影片, 在Pixel 2上则超过40 FPS.
