[发明专利]一种多ToF相机系统实时配准方法

说明书

本发明属于计算机视觉技术领域，更具体地，涉及一种多ToF相机系统实时配准方法，包括多个相机分别实时获取相位与振幅信息，多个相机之间具有重合视野；将相位与振幅信息分别转换为深度图像与红外图像；根据红外图像与深度图像计算得到多个相机的实时位姿关系；根据深度图像得到在相机坐标系下的三维点云信息；根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。本发明中通过特征点匹配求解相机间位姿关系，不需要对多个相机进行标定，适用于多个相机间具有相对运动的情况，且不需要保证多个相机的时序严格同步，降低系统成本，具有较高的实用性。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种多ToF相机系统实时配准方法。

背景技术

近年来，随着人机交互、自动驾驶、医学成像、增强现实和机器人感知等领域的发展，ToF(飞行时间)技术的应用越来越广泛。因为单个ToF相机输出的深度图像可能存在深度缺失，并且视角有限，在实际应用中采用两个或多个ToF相机协同工作可以解决这些问题。目前，在匹配两个或多个ToF相机采集的深度信息时，采用的是提前标定相机间外差的方法，这种方法在利用外差确定相机间的位姿关系，并以此匹配不同相机的深度信息，由于标定得到的外差是固定的，所以这种方法只适用于多个ToF相机相对位置固定的应用场景下；其次，现有方法在拍摄运动目标或相机本身在运动的场景下，必须要求各相机之间在曝光时间上完全同步，否则就会出现失配，这无疑提高了硬件的要求与成本。

如中国专利CN111435539A公开了一种基于联合优化的多相机系统外参标定方法，包括：利用相邻两个相机的共视区域内的特征点信息得到相邻相机之间的位姿；以多相机系统中的其中一个相机为基准相机，以基准相机的坐标系为参考坐标系，以基准相机的位姿为初始位姿，根据相邻相机之间的位姿依次变换得到各相机在参考坐标系的位姿，并且基准相机通过变换得到与初始位姿不同的第二位姿；将所有相机在参考坐标系下的位姿加上基准相机的第二位姿通过基于几何域配准的联合优化算法，得到优化后的每个相机的位姿。因其需要对相机进行外参标定，不适用于多个相机位置发生相对运动或拍摄目标发生运动的情况，且要求各个相机的时序完全同步，这样的相机成本过高。

发明内容

本发明为克服上述现有技术中的至少一个缺陷，提供一种多ToF相机系统实时配准方法，其不要求各个相机的时序完全同步，且适用于多个相机发生相对运动的情况，成本较低，效果更好。

为解决上述技术问题，本发明采用的技术方案是：

提供一种多ToF相机系统实时配准方法，包括:

S1：多个相机分别实时获取相位与振幅信息，多个相机之间具有重合视野；

S2：将相位与振幅信息分别转换为深度图像与红外图像；

S3：根据红外图像计算得到多个相机的实时位姿关系；

S4：根据深度图像得到在相机坐标系下的三维点云信息；

S5：根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。

本方案中对相机得到的红外图像、深度图像计算多个相机的位姿关系，而不需要提前通过外参标定的方法对多个相机进行标定，从而在采用多个相机进行协同工作时，不需要保证多个相机间的相对位置固定，再利用深度图像得到三维点云信息，根据位姿关系对三维点云信息配准，实现多个相机图像的配准；同时，这样的方案不需要确保多个相机的时序严格同步，即减少了相机的时序同步模块，降低了系统的成本，同时的使得相机更加轻便、结构更加紧凑，有利于在无人移动平台上的应用。

进一步地，上述的步骤S1中多个相机的光源频率、解调频率均调制至相互正交。

进一步地，上述的步骤S1中多个相机中每两个相机之间的重合视野大于每个相机视野的一半。

进一步地，上述的步骤S3具体包括：