[发明专利]一种结合TOF技术和双目视觉的深度信息获取装置及其方法

说明书

本发明公开了一种结合TOF技术和双目视觉的深度信息获取装置及其方法，该装置包括一个主动光源发射装置、一个TOF传感器、左右图像传感器、控制器以及处理器；主动光源发射装置包括依次布置的光源、空间调制器件以及成像系统；主动光源发射装置和TOF传感器均与控制器相连，TOF传感器、左图像传感器和右图像传感器均与处理器相连。主动光源发射装置生成时间、空间调制的光照明场景，TOF传感器采集时间调制信号获得场景深度信息，左右图像传感器采集空间调制信号获得场景图像信息。以深度信息增加约束条件对场景图像进行特征匹配，得到高分辨率深度图像。本发明以较低成本实现室内外环境下高分辨率快速深度信息获取，适用于近距离及较远距离。

技术领域

本发明涉及深度传感器、机器视觉、三维重建、双目立体视觉、TOF技术领域，尤其涉及一种结合TOF技术和双目视觉的深度信息获取装置及其方法。

背景技术

近年来，深度信息在传感器中获得了越来越多的应用。获取深度信息的技术主要有双目立体匹配、TOF(Time of Flight，飞行时间)、单目结构光等技术。这些技术可以为传感器增加额外的深度信息，在图像识别与处理、场景理解、VR、AR和机器人等领域有着广泛的应用。然而，当前市面上的主流产品依旧有各自的使用范围和局限性。比如，双目立体匹配依赖于复杂的算法，因此硬件要求高，计算时间长，对于特征不明显的目标识别效果不佳；脉冲式TOF深度测量技术成本很高，由于扫描方法的限制，存在高分辨率和高刷新频率的矛盾；相位法TOF深度测量距离分辨率和空间分辨率都不高，抗干扰能力较差；结构光技术根据编码方法的不同，也存在分辨率低、测量时间长、可靠性差等缺陷，对测量目标特性有一定要求，且抗干扰能力差，只能用于室内。为满足需求常需要配置多种传感器，简单的传感器叠加，并不能很好地改善整体性能，还会增加系统结构复杂度和系统成本。

发明内容

针对上述不足，本发明提供一种结合TOF技术和双目视觉的深度信息获取装置及其方法，具有双目立体视觉高分辨率的同时，大幅降低算法要求，提高了测量速度，对无纹理的目标也能很好识别，适用于室内和室外环境下各种目标。相对于简单的多种传感器融合，不仅成本降低，集成度更好，而且性能上也更稳定。

本发明解决其技术问题所采用的技术方案如下：一种结合TOF技术和双目视觉的深度信息获取装置，包括一个主动光源发射装置、一个TOF传感器、左图像传感器、右图像传感器、控制器以及处理器；所述主动光源发射装置包括依次布置的光源、空间调制器件以及成像系统；主动光源发射装置和TOF传感器均与控制器相连，TOF传感器、左图像传感器和右图像传感器均与处理器相连。

所述的左图像传感器和右图像传感器在TOF传感器两侧对称放置；作为一种技术方案，左右图像传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息。左、右图像传感器获取的反射率信息可以对TOF传感器进行反馈，提高TOF传感器的测量精度、降低噪声。

所述的控制器控制光源发射时间调制的光，经空间调制器件调制后，由成像系统形成具有一定空间分布的图案照明场景。作为优选，光源为LED或激光模组，主动光源发射装置的时间调制为正弦波或快速方波序列，空间调制器件为毛玻璃或光栅，成像系统为微透镜阵列。

所述的TOF传感器接收场景目标反射的回波信号，根据信号的时间调制计算飞行时间，进一步得到场景深度信息。所述的图像传感器接收环境光和主动光源照明下的场景图像，主动光源的空间调制给场景加上纹理，便于左右图像传感器对无纹理目标进行特征匹配。作为优选，所述左图像传感器和右图像传感器采集到的图像为灰度图像，其光谱特性主要响应主动光源的窄波段，也能响应部分可见光波段；进一步的，所述左图像传感器和右图像传感器采集图像也可以为RGB彩色图像，获取更多目标信息进行特征匹配。

本发明的另一目的是提供一种结合TOF技术和双目视觉的深度信息获取方法，具体包括如下步骤：