8月6日, OPPO在北京舉行了TOF技術溝通會, OPPO公司的3D視覺技術研發項目經理張學勇對TOF技術進行全面的技術講解, 並與OPPO產品經理趙雨其解答了眾人對TOF技術的疑問.  手機的持續發展讓他具備了資訊獲取和處理資訊的能力, 但在過去的很長一段時間裡, 手機所看到的是平面世界, 3D視覺技術的加入可以很好的解決這個問題. 讓手機的視覺從平面到立體, 現在行業中有三種主流的3D視覺方案: 雙目立體視覺方案, 3D結構光方案, TOF方案. 雙目立體視覺方案屬於被動採集方案, 3D結構光和TOF屬於主動採集方案. 3D結構光和TOF有哪些不同? 3D結構光主要適用於近距離的3D資訊採集, 專要應用場景在人臉識別, 再通過人臉識別進而應用於解鎖, 支付等方面;TOF方案主要應用於相對遠距離的3D資訊採集, TOF方案的應用範圍和想象空間也更大. 手機的前置使用場景和後置使用場景可以很好的適配3D結構光和TOF技術.  TOF是time of flight(飛行時間)的縮寫, 這種技術主要是通過被測目標連續發送光訊號, 在感測器端接收被測目標返回的光訊號, 再通過計算髮射和接收光訊號的往返飛行時間來得到被測目標的距離. TOF技術是在傳統的2D XY軸的成像基礎上, 加入來自Z軸方向的深度資訊, 最終生成3D的映像資訊. 對於TOF所生成3D映像資訊精度的評判, 加入縱向精度也是3D成像技術的關鍵. 3D結構光的原理是發射衍射光斑到物體上, 感測器接收到發生形變的光斑後, 再根據光斑形變的量來判斷深度資訊, 但3D結構光所發射的衍射光斑, 在一定距離外的能量密度會降低, 所以並不適用遠距離的深度資訊採集;TOF技術是發射的是面光源, 而不是散斑, 所以TOF的光資訊不會向3D結構光一樣出現大量衰減, TOF感光元件的像素達到10μm, 對於光的採集有足夠的保障.  | TOF的五大核心硬體單元
1.紅外發射單元
包括Vcsel發射器, Diffuser(擴散器). Vcsel發出的是脈衝方波, 波長為940nm, 該波長的紅外光是非可見光, 同時在光譜中的量最少, 可以避免環境光的幹擾. 由Vcsel發射出的光源, 還會通過Diffuser將光調製成均勻的面光源, 再發射出去.
2.光學透鏡
它用於匯聚反射回來的光線, 在光學感測器上成像. 不過與普通光學鏡頭不同的是這裡需要加一個窄帶濾光片來保證只有與發射的光訊號波長相同(即940nm)的光才能進入, 這樣做的目的是抑制非相干光源減少背景雜訊, 同時防止感測器因外部光線幹擾而過度曝光.
3.成像感測器
與一般相機的感光元件類似, 用來接收反射回來的光, 並在sensor上進行光電轉換, 不過由於TOF的原理, sensor的感光時間非常短, 達到了納秒級別, 所以單像素尺寸比一般相機的大很多, 比如: 目前RGB在用的pixel size為1μm,而我們的TOF sensor的pixel size為10μm.
4.控制單元
控制單元即為雷射發射器的驅動IC, 能夠驅動雷射用上限達到100MHz的高頻脈衝驅動;同時消除各類幹擾, 保證驅動波形是完美的方波, 上升沿和下降沿時間在0.2ns左右, 從而有效保障高精度的深度精度的提取.
5.核心演算法計算單元
核心演算法計算單元即為我們手機的AP, 我們將深度提取的核心演算法library移植到AP中, AP從模組中讀取單模組校準的數據, 驅動深度提取演算法library,將RAW圖換算成的深度圖;然後利用深度圖用於各個應用.
| OPPO TOF方案的優勢在於Z軸精度研發, 同時在精度, 能耗, 應用場景範圍等方面達到了行業領先水平: | 1.精準的Z方向精度
OPPO的TOF技術採用雙頻驅動, 採樣為240幀fps, 即: 每個單頻對應四個相位, 每個相位對應一個雷射脈衝, 從而獲得8幀RAW圖, 最後每8幀合成一張深度資訊, 市面上的其它方案一般為30幀每秒, 每一張深度資訊只採用一幀的資訊, 所以在Z方向的精度上的方案更高, 絕對精度為1%, 相對精度為0.5%.
2. 嚴苛的精度標定
為了確保TOF的工作精度, 我們專門定製了精度標定的工序, 這是行業內都不會做的, 但是對於TOF來說, 它的極其精密的構造, 每一個環節都會影響到最終3D成像的精度, 尤其是Z方向的精度, 所以, 在研發過程中僅針對精度標定就已經進行了三輪標定的設備更新, 每一次都投入了很高的研發成本, 同時我們研發出了一套四個距離四個角度多次標定的創新組合方案, 為最終產品的體驗保駕護航.
3. 低使用功耗
OPPO的TOF方案採用的是BSI CMOS, 在功耗上比其它CCD方案低3到5倍.
4. 強抗幹擾性
OPPO的TOF方案採用的是940nm波長的光訊號, 在光譜中的量最少, 同時因為是主動發射光, 受環境光影響小, 所以OPPO的TOF方案能在包括暗光下的全天候無差別工作.
| TOF技術的應用 相比於3D結構光專註於近距離的人臉解鎖, 人臉識別不同, TOF技術更適合遠距離的3D資訊採集, 也讓TOF的應用範圍更廣, 想象空間更大. 只要是合理範圍內的物體, 都可以通過TOF進行3D建模, 建模完後的資訊可通過AR, 全息投影等方式將3D資訊展現出來. 比如3D試裝, AR裝潢, AR遊戲, 體感遊戲, 全息影像交互等都可以通過TOF技術實現. 未來5G網路帶來的高頻寬, 為3D視覺技術提供了資訊傳輸的保障, 未來的3D視頻通話, 虛景+虛景的遠程VR, 虛景+實景的遠程AR, 實景+實景的遠程JR等泛在現實使用場景將迎來爆髮式應用.
TOF是否會應用於前置場景 OPPO 3D視覺技術研發經理張學勇講到: 3D結構光是近距離的, 用在前置場景應用;TOF是遠距離主要是後置場景應用. 那麼TOF是否會應用到前置場景? OPPO 3D視覺技術研發經理張學勇認為: 3D結構光在1.2米內的精度要高於TOF, 前置的人臉3D資訊需要更精準的資訊, 所以精度越高效果越好, 所以現階段的TOF技術是不會加入到TOF前置場景之中, 畢竟3D結構光比TOF更好的選擇.  OPPO產品經理趙雨其也表示: 從產品規劃的角度來講, OPPO會選擇前置最好效果和後置最好效果的兩個技術, 前置之所以選擇3D結構光的方案, 是因為TOF的精度無法替代結構光, 特別是在美顏, 人臉支付等場景. 可明確的是, 這些技術在2018年下半年久可以看到和使用. OPPO是否會把把TOF和3D結構光整合到一部手機上, OPPO產品經理趙雨其表示: 前置會選擇3D結構光技術, 但是3D結構光是否和TOF聯合設計在手機上, 這個可以期待一下. OPPO TOF的優勢 與其他廠商發布的技術相比, OPPO TOF在方案上是不一樣的. OPPO的TOF採用CMOS的方案, 其他廠商可能使用的是CCD方案. 從技術的角度來講, CCD採用的是直出30幀, 但CMOS邏輯電路可更複雜, 可以用240幀合成30幀, 這樣能夠獲得更高的精度. 另一個原因就是CCD的功耗比COS高出3-5倍. OPPO 3D視覺技術研發經理張學勇看來: 未來行業的結構光是CMOS的天下, CMOS取代CCD已經有相機行業作為佐證. 與傳統RGB Sensor的30萬個點不同, 3D成像技術最重要的是獲取Z方向的精度, 這樣才能非常準確的把模型建立起來, 所以現階段最重要的是保證Z方向精度. 在保證Z方向精度的情況下, XY精度越高越好. OPPO在現階段更關注Z軸方向的精度, Z的精度能做到絕對精度1%, 相對精度0.5%. 最關鍵的是要保證每一顆TOF的精度都可以達到標準. OPPO TOF是240乘180的解析度, 能夠滿足現階段相關應用使用的要求. TOF感光在近距離的精度不比結構光差, 還能夠實現飛秒級成像, OPPO沒有採用飛秒級成像系統, 關鍵就在TOF sensor精度的標定. 短距離內將結構光精度提高是有可能的, 可以隔五厘米或隔兩厘米標定一次, 但工作量非常大, 按目前的生產效率遠不能滿足量產需求, 這也不符合整個產業鏈的發展. 3D結構光的安全和隱私 在使用3D結構光的時候, 手機獲取人面部的資訊, 是否會涉及到用戶隱私. OPPO視覺技術研發經理張學勇則表示: 在隱私定義及保護方面, 需要在業界慢慢形成共識, 建立一個讓大家遵守的標準, 現在也在萌芽階段.
|
