[发明专利]一种同步获取深度及色彩信息的方法及装置

说明书

技术领域

本发明涉及图像处理技术，特别是一种同步获取深度及色彩信息的方法及装置。

背景技术

随着3D技术的发展，立体显示、机器视觉、卫星遥感等方面的技术应用越来越多地需要获取场景的深度信息。目前，深度相机能够获取相机视野内目标的深度信息。

深度相机主要有三种架构，分别是双目立体视觉法、飞行时间法（TOF）和结构光法。双目立体视觉法使用两个镜头的立体视觉来获得关于对象的表面与相机之间的距离的深度信息。飞行时间法使用雷达测量的原理进行三维场景深度的测量，相机发射主动光波照射三维场景，光波经三维场景反射后回到深度相机，根据光波的发射时间和反射光波的接收时间之间的时间差(也即，相位差)获取三维场景的深度信息。

现有的深度相机，获得的深度信息的精确度随着到目标的距离增加而快速地降低，并且精度还取决于目标的表面状态，所以难以获得精确的深度信息。同时，不能生成深度-色彩图像，需要连接计算机系统，才能够对深度图像与色彩图像进行匹配处理。深度图像与色彩图像匹配的方法繁琐，计算速度慢，匹配精度低，不能在深度相机同步输出深度和色彩信息。

发明内容

为了解决上述现有的技术问题，本发明提供一种同步获取深度及色彩信息的方法及装置，能够实时获取与视野内人或其他目标相距的距离，同步进行深度与色彩的匹配，并且实时更新信息，从而应用于运动捕捉系统或机器视觉系统等，以作为军事、娱乐、智能家居、体育或医学等方面的具体应用系统的信息输入。

本发明解决上述现有的技术问题，提供一种同步获取深度及色彩信息的方法，具体步骤为：

S1:使用第一摄像机获取视野内目标的目标衍射离散光斑图序列，使用第二摄像机获取视野内目标的目标色彩图像序列；

S2:图像处理模块使用每一帧目标衍射离散光斑图，得到对应的每一帧目标深度图；调用第一摄像机与第二摄像机的相对位置数据，进行每一帧目标深度图与同步的每一帧目标色彩图像的对齐映射插值匹配，生成每一帧目标深度-色彩图像。

本发明更进一步的改进如下所述。

所述目标衍射离散光斑图序列包括第一帧目标衍射离散光斑图和第二帧目标衍射离散光斑图；所述目标色彩图像序列包括第一帧目标色彩图像和第二帧目标色彩图像。

第二摄像机的像素分辨率高于第一摄像机的像素分辨率。

所述第一摄像机与第二摄像机的相对位置数据包括第一摄像机的内部参数、镜头畸变参数；第二摄像机的内部参数、镜头畸变参数；第一摄像机与第二摄像机的夹角和相对距离。

所述第一摄像机与第二摄像机的相对位置数据通过摄像机标定获得。

在步骤S2中，对齐映射插值匹配为图像处理模块基于第一摄像机与第二摄像机的相对位置数据，将每一帧目标深度图与同步的每一帧目标色彩图像进行映射，一个像素的深度信息对应于多个像素的色彩信息；接着对深度信息进行亚像素插值处理、对色彩信息进行边缘提取处理、深度信息结合色彩信息优化处理，，优化每一帧目标深度-色彩图像。

在步骤S2中，

S21：图像处理模块调用预存储的深度信息已知的多个参考衍射离散光斑图，分别与第一帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到对应的多个原始的第一帧目标深度图；比较每一个原始的第一帧目标深度图与其对应的参考衍射离散光斑图已知深度的偏离值，选取偏离值最小时对应区域的深度信息，以此获得优化的第一帧目标深度图；图像处理模块调用第一摄像机与第二摄像机的相对位置数据，进行第一帧目标深度图与同步的第一帧目标色彩图像的对齐映射插值匹配，生成第一帧目标深度-色彩图像；

S22：调用优化的第一帧目标深度图，比较其与每一个参考衍射离散光斑图已知深度的偏离值，对偏离值进行自适应阈值设定，划分偏离值小于阈值时对应的第一帧目标深度图区块，以及对应的参考衍射离散光斑图区块；使用该参考衍射离散光斑图区块，与第二帧目标衍射离散光斑图进行衍射离散光斑互相关匹配处理，得到第二帧目标深度图；图像处理模块调用第一摄像机与第二摄像机的相对位置数据，进行第二帧目标深度图与同步的第二帧目标色彩图像的对齐映射插值匹配，生成第二帧目标深度-色彩图像；