Google研究團隊最近在Google Research Blog上發布文章 'Mobile Real-time Video Segmentation' , 說明其已開發了一種影片分割(video segmentation)的新功能, 能直接在拍攝影片時將影片中的前景(人像等)與背景分開, 並替換成其他背景. 據Next Reality報導, 不少電影導演或影像創作者都會用影片分割來將影片的前景與背景分為兩個圖層, 並透過置換背景來增強影片效果, 但傳統上這需要耗時費力的後制, 或需要將綠幕(green screen)當作背景進移動態捕捉以進行後制. Google研究團隊利用機器學習的主流技術卷積神經網路(Convolutional Neural Networks; ConvNets)將這種耗時工作簡化, 讓影片在即時拍攝過程中可直接分割前景與背景, 而Google也邀請了一些YouTuber用這項新功能製作影片, 並上傳到YouTube尚在測試中的短片集(YouTube stories)供網友觀賞. 這項計劃的Google領導者與軟體工程師Valentin Bazarevsky及Andrei Tkachenka在文章中表示, 目前的目標是透過一些創作者用該新功能創作的影片來觀察效果, 日後將持續增加更多對場景的 '標記' (label)來讓使用者使用更多不同的背景, 並計劃整合到更大的Google擴增實境(AR)服務中. 其實先前蘋果(Apple)已透過Apple Clips讓世人見識到即時影片分割技術, 但這需要iPhone X與其TrueDepth相機來執行, Google的電腦視覺也可讓大眾獲得類似的體驗, 事實上該團隊設計ConvNets就是為了解決影片分割技術的繁複並輕鬆地在手機上呈現高畫質影片, 該方法可在iPhone 7上運行每秒超過100幀率(FPS)的影片, 在Pixel 2上則超過40 FPS.
