8月6日, OPPO在北京举行了TOF技术沟通会, OPPO公司的3D视觉技术研发项目经理张学勇对TOF技术进行全面的技术讲解, 并与OPPO产品经理赵雨其解答了众人对TOF技术的疑问.  手机的持续发展让他具备了信息获取和处理信息的能力, 但在过去的很长一段时间里, 手机所看到的是平面世界, 3D视觉技术的加入可以很好的解决这个问题. 让手机的视觉从平面到立体, 现在行业中有三种主流的3D视觉方案: 双目立体视觉方案, 3D结构光方案, TOF方案. 双目立体视觉方案属于被动采集方案, 3D结构光和TOF属于主动采集方案. 3D结构光和TOF有哪些不同? 3D结构光主要适用于近距离的3D信息采集, 专要应用场景在人脸识别, 再通过人脸识别进而应用于解锁, 支付等方面;TOF方案主要应用于相对远距离的3D信息采集, TOF方案的应用范围和想象空间也更大. 手机的前置使用场景和后置使用场景可以很好的适配3D结构光和TOF技术.  TOF是time of flight(飞行时间)的缩写, 这种技术主要是通过被测目标连续发送光信号, 在传感器端接收被测目标返回的光信号, 再通过计算发射和接收光信号的往返飞行时间来得到被测目标的距离. TOF技术是在传统的2D XY轴的成像基础上, 加入来自Z轴方向的深度信息, 最终生成3D的图像信息. 对于TOF所生成3D图像信息精度的评判, 加入纵向精度也是3D成像技术的关键. 3D结构光的原理是发射衍射光斑到物体上, 传感器接收到发生形变的光斑后, 再根据光斑形变的量来判断深度信息, 但3D结构光所发射的衍射光斑, 在一定距离外的能量密度会降低, 所以并不适用远距离的深度信息采集;TOF技术是发射的是面光源, 而不是散斑, 所以TOF的光信息不会向3D结构光一样出现大量衰减, TOF感光元件的像素达到10μm, 对于光的采集有足够的保障.  | TOF的五大核心硬件单元
1.红外发射单元
包括Vcsel发射器, Diffuser(扩散器). Vcsel发出的是脉冲方波, 波长为940nm, 该波长的红外光是非可见光, 同时在光谱中的量最少, 可以避免环境光的干扰. 由Vcsel发射出的光源, 还会通过Diffuser将光调制成均匀的面光源, 再发射出去.
2.光学透镜
它用于汇聚反射回来的光线, 在光学传感器上成像. 不过与普通光学镜头不同的是这里需要加一个窄带滤光片来保证只有与发射的光信号波长相同(即940nm)的光才能进入, 这样做的目的是抑制非相干光源减少背景噪声, 同时防止传感器因外部光线干扰而过度曝光.
3.成像传感器
与一般相机的感光元件类似, 用来接收反射回来的光, 并在sensor上进行光电转换, 不过由于TOF的原理, sensor的感光时间非常短, 达到了纳秒级别, 所以单像素尺寸比一般相机的大很多, 比如: 目前RGB在用的pixel size为1μm,而我们的TOF sensor的pixel size为10μm.
4.控制单元
控制单元即为激光发射器的驱动IC, 能够驱动激光用上限达到100MHz的高频脉冲驱动;同时消除各类干扰, 保证驱动波形是完美的方波, 上升沿和下降沿时间在0.2ns左右, 从而有效保障高精度的深度精度的提取.
5.核心算法计算单元
核心算法计算单元即为我们手机的AP, 我们将深度提取的核心算法library移植到AP中, AP从模组中读取单模组校准的数据, 驱动深度提取算法library,将RAW图换算成的深度图;然后利用深度图用于各个应用.
| OPPO TOF方案的优势在于Z轴精度研发, 同时在精度, 能耗, 应用场景范围等方面达到了行业领先水平: | 1.精准的Z方向精度
OPPO的TOF技术采用双频驱动, 采样为240帧fps, 即: 每个单频对应四个相位, 每个相位对应一个激光脉冲, 从而获得8帧RAW图, 最后每8帧合成一张深度信息, 市面上的其它方案一般为30帧每秒, 每一张深度信息只采用一帧的信息, 所以在Z方向的精度上的方案更高, 绝对精度为1%, 相对精度为0.5%.
2. 严苛的精度标定
为了确保TOF的工作精度, 我们专门定制了精度标定的工序, 这是行业内都不会做的, 但是对于TOF来说, 它的极其精密的构造, 每一个环节都会影响到最终3D成像的精度, 尤其是Z方向的精度, 所以, 在研发过程中仅针对精度标定就已经进行了三轮标定的设备更新, 每一次都投入了很高的研发成本, 同时我们研发出了一套四个距离四个角度多次标定的创新组合方案, 为最终产品的体验保驾护航.
3. 低使用功耗
OPPO的TOF方案采用的是BSI CMOS, 在功耗上比其它CCD方案低3到5倍.
4. 强抗干扰性
OPPO的TOF方案采用的是940nm波长的光信号, 在光谱中的量最少, 同时因为是主动发射光, 受环境光影响小, 所以OPPO的TOF方案能在包括暗光下的全天候无差别工作.
| TOF技术的应用 相比于3D结构光专注于近距离的人脸解锁, 人脸识别不同, TOF技术更适合远距离的3D信息采集, 也让TOF的应用范围更广, 想象空间更大. 只要是合理范围内的物体, 都可以通过TOF进行3D建模, 建模完后的信息可通过AR, 全息投影等方式将3D信息展现出来. 比如3D试装, AR装潢, AR游戏, 体感游戏, 全息影像交互等都可以通过TOF技术实现. 未来5G网络带来的高带宽, 为3D视觉技术提供了信息传输的保障, 未来的3D视频通话, 虚景+虚景的远程VR, 虚景+实景的远程AR, 实景+实景的远程JR等泛在现实使用场景将迎来爆发式应用.
TOF是否会应用于前置场景 OPPO 3D视觉技术研发经理张学勇讲到: 3D结构光是近距离的, 用在前置场景应用;TOF是远距离主要是后置场景应用. 那么TOF是否会应用到前置场景? OPPO 3D视觉技术研发经理张学勇认为: 3D结构光在1.2米内的精度要高于TOF, 前置的人脸3D信息需要更精准的信息, 所以精度越高效果越好, 所以现阶段的TOF技术是不会加入到TOF前置场景之中, 毕竟3D结构光比TOF更好的选择.  OPPO产品经理赵雨其也表示: 从产品规划的角度来讲, OPPO会选择前置最好效果和后置最好效果的两个技术, 前置之所以选择3D结构光的方案, 是因为TOF的精度无法替代结构光, 特别是在美颜, 人脸支付等场景. 可明确的是, 这些技术在2018年下半年久可以看到和使用. OPPO是否会把把TOF和3D结构光整合到一部手机上, OPPO产品经理赵雨其表示: 前置会选择3D结构光技术, 但是3D结构光是否和TOF联合设计在手机上, 这个可以期待一下. OPPO TOF的优势 与其他厂商发布的技术相比, OPPO TOF在方案上是不一样的. OPPO的TOF采用CMOS的方案, 其他厂商可能使用的是CCD方案. 从技术的角度来讲, CCD采用的是直出30帧, 但CMOS逻辑电路可更复杂, 可以用240帧合成30帧, 这样能够获得更高的精度. 另一个原因就是CCD的功耗比COS高出3-5倍. OPPO 3D视觉技术研发经理张学勇看来: 未来行业的结构光是CMOS的天下, CMOS取代CCD已经有相机行业作为佐证. 与传统RGB Sensor的30万个点不同, 3D成像技术最重要的是获取Z方向的精度, 这样才能非常准确的把模型建立起来, 所以现阶段最重要的是保证Z方向精度. 在保证Z方向精度的情况下, XY精度越高越好. OPPO在现阶段更关注Z轴方向的精度, Z的精度能做到绝对精度1%, 相对精度0.5%. 最关键的是要保证每一颗TOF的精度都可以达到标准. OPPO TOF是240乘180的分辨率, 能够满足现阶段相关应用使用的要求. TOF感光在近距离的精度不比结构光差, 还能够实现飞秒级成像, OPPO没有采用飞秒级成像系统, 关键就在TOF sensor精度的标定. 短距离内将结构光精度提高是有可能的, 可以隔五厘米或隔两厘米标定一次, 但工作量非常大, 按目前的生产效率远不能满足量产需求, 这也不符合整个产业链的发展. 3D结构光的安全和隐私 在使用3D结构光的时候, 手机获取人面部的信息, 是否会涉及到用户隐私. OPPO视觉技术研发经理张学勇则表示: 在隐私定义及保护方面, 需要在业界慢慢形成共识, 建立一个让大家遵守的标准, 现在也在萌芽阶段.
|
