[发明专利]坐标获取装置、实时三维重建系统和方法、立体交互设备

说明书

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种基于计算机视觉的实时三维目标重建系统和方法及所使用的三维坐标信息获取装置、以及一种立体交互设备。

背景技术

随着人们对智能化人机交互领域的需求越来越高，如何使机器理解人成为一个亟待解决的问题。研究表明，如果能够借助各种传感设备实时提取人的行为的三维（3D）信息并设定某些规则使机器理解这些信息，将是解决这个问题的关键环节，其中3D目标重建是实现该关键环节的基础。3D目标重建是指在一个有限的3D视场中，提取目标在空间直角坐标系的X方向、Y方向以及Z方向的位置信息，据此实现3D重建。

发明内容

根据本申请的第一方面，提供一种用于实时三维目标重建的坐标获取装置，包括：图像采集模块，用于通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像；区域选择模块，用于基于图像灰度特征在第一图像中确定出感兴趣区域；边缘点提取模块，用于对感兴趣区域进行边缘点提取；深度计算模块，用于在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，得到匹配点的三维坐标。

根据本申请的第二方面，提供一种使用上述坐标获取装置的实时三维目标重建系统，其还包括目标重构模块，用于在第一校准图像中，根据边缘点进行插值得到插值点，在第二校准图像中搜索与插值点对应的匹配插值点，根据插值点的坐标及匹配插值点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配插值点的三维坐标，根据匹配插值点的三维坐标实现目标物的三维重建。

根据本申请的第三方面，提供一种使用上述坐标获取装置或三维目标重建系统的立体交互设备。

根据本申请的第四方面，提供一种实时三维目标重建方法，包括：图像采集步骤，通过红外双目摄像机的第一摄像头和第二摄像头对同一目标物进行拍摄，分别得到第一图像和第二图像，所述第一图像包括第一红外图像和第一红外增强图像，所述第二图像为第二红外增强图像；区域选择步骤，针对第一红外增强图像中的每个像素点以及与该像素点对应的第一红外图像中的每个像素点，计算二者的灰度值的比值或灰度值的差值，比值大于第一预设阈值或差值大于第二预设阈值的像素点构成感兴趣区域；边缘点提取步骤，对感兴趣区域进行边缘点提取；深度计算步骤，在第二图像中，搜索与第一图像的边缘点对应的匹配点，根据边缘点的坐标及匹配点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配点的三维坐标；目标重构步骤，在第一图像中，根据边缘点进行插值得到插值点，在第二图像中搜索与插值点对应的匹配插值点，根据插值点的坐标及匹配插值点的坐标，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，得到匹配插值点的三维坐标，根据匹配插值点的三维坐标实现目标物的三维重建。

本申请的有益效果是：通过从第一图像中提取边缘点，在第二图像中找出该边缘点的匹配点，结合双目摄像机的焦距及两摄像头中心点的距离进行计算，从而得到匹配点的空间三维坐标，这种方案适用于近距离三维目标重建。

一种实施例中，结合红外光源的辅助可得到具有稳定亮度的图像，使得后续计算的准确度增加，区域选取时只采用简单的灰度特征，加快了处理速度，仅以选取出的感兴趣区域的边缘点进行计算，达到了减少计算量且又提高速度的目的。进一步地，通过腐蚀处理消除区域边界处的不可靠点，从而达到提高精度的目的。

附图说明

图1为本申请一种实施例的坐标获取装置的结构示意图；

图2为本申请一种实施例的深度计算方法的流程示意图；

图3为本申请一种实施例的双目摄像机的结构示意图；

图4为本申请另一种实施例的坐标获取装置的结构示意图；

图5为本申请一种实施例的校准和区域选择处理的结构示意图；

图6为本申请另一种实施例的坐标获取装置的结构示意图；

图7为本申请另一种实施例的坐标获取装置的结构示意图；

图8为本申请一种实施例的坐标获取装置的一种应用示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例1

由于目标在空间直角坐标系的X方向和Y方向上的实时坐标可以通过任意一个摄像头拍摄到的数据得到，而Z方向的坐标信息无法直接得到，所以如何计算Z方向的实时坐标是实现三维目标重建的关键点之一。