[发明专利]一种多ToF相机系统实时配准方法

权利要求书

1.一种多ToF相机系统实时配准方法，其特征在于，包括：

S1：多个相机分别实时获取相位与振幅信息，所述多个相机之间具有重合视野；

S2：将所述相位与振幅信息分别转换为深度图像与红外图像；

S3：根据所述红外图像与深度图像计算得到多个相机的实时位姿关系；

所述步骤S3具体包括：

S31：对所有红外图像提取特征点；

S32：提取所述特征点的描述子；

S33：根据所述描述子对所述多个相机中的第一相机对应的红外图像与其余相机对应的红外图像分别进行特征点匹配，并在相应的深度图像上得到匹配点；

步骤S33中所述特征点匹配具体包括：

S331：计算一张红外图像中每个描述子与另一张红外图像中每个描述子的汉明距离；

S332：将步骤S331中得到的所有汉明距离按大小进行排序，将汉明距离最小对应的特征点记为最优点，将汉明距离次小对应的特征点记为次优点；

S333：设定第二判断阈值，将所述最优点的描述子的汉明距离除以次优点的描述子的汉明距离得到比较值r；

S334：判断r与所述第二判断阈值的大小关系，若r大于第二判断阈值，则剔除当前特征点，若r小于第二判断阈值，则将当前最优点记为正确点并保留；

S335：根据坐标关系由所述正确点在对应的深度图像上找到相应的点坐标，并将深度图像上相应的点记为匹配点；

S34：选取特征点匹配对数最多的红外图像对应的相机作为对准相机，根据所述深度图像上的匹配点计算所述对准相机与所述第一相机的位姿关系；

S35：对所述多个相机的红外图像与深度图像均执行步骤S33至步骤S34，得到所有相机间的实时位姿关系；

S4：根据所述深度图像得到在相机坐标系下的三维点云信息；

S5：根据实时相对位姿与三维点云信息，完成多个相机的三维信息实时配准。

2.根据权利要求1所述的一种多ToF相机系统实时配准方法，其特征在于，步骤S1中所述多个相机的光源频率、解调频率均调制至相互正交。

3.根据权利要求1所述的一种多ToF相机系统实时配准方法，其特征在于，步骤S1中所述多个相机中每两个相机之间的重合视野大于每个相机视野的一半。

4.根据权利要求1所述的一种多ToF相机系统实时配准方法，其特征在于，步骤S31中所述提取特征点具体包括：

S311：设定特征点第一判断阈值；

S312：在一张红外图像上选取一个像素点，记为中心像素点，选取中心像素点周围的第一设定个数像素点，计算每个像素点与中心像素点之间的灰度值差值，若第一设定个数像素点中计算得到的灰度值差值为正的数量大于所述特征点第一判断阈值，则将当前中心像素点记为特征点；

S313：遍历每张红外图像的所有像素点，重复执行步骤S312，直至完成对每个红外图像的特征点提取。

5.根据权利要求1所述的一种多ToF相机系统实时配准方法，其特征在于，步骤S32中所述提取所述特征点的描述子具体包括：

S321：选取一张红外图像的特征点周围第二设定大小的像素区域A，设定特征点选取顺序；

S322：按所述设定特征点选取顺序，选取所述像素区域A内的若干个像素点；

S323：依次将选取的若干像素点与当前特征点进行灰度值大小比较，若像素点灰度值大于所述特征点灰度值，则结果记为1，否则记为0，并将结果依次排列得到与若干个像素点数量相同的若干位二进制数据，记为当前红外图像特征点的描述子；

S324：对当前红外图像的所有特征点执行步骤S321至步骤S323，得到所有特征点的描述子；

S325：对所有红外图像执行步骤S321至步骤S324，得到所有红外图像的所有特征点的描述子。