[发明专利]一种基于Kinect的实时深度图与彩图的配准及优化方法

摘要

一种基于Kinect实时的深度图对彩图的配准及优化方法，首先从通过kinect获取深度图，然后用背景填充法对深度图像的细小空洞进行填补，然后通过双向线性扫描轮询插值法填补深度图较大空洞，由此得到初步的深度图图像。再建立并计算得到深度图到彩图的坐标映射表，处理坐标异常部分，找到并剪除无效带重影的区域，然后建立深度图到彩图的投影图像，得到带一系列离散深度点的RGB‑深度图，然后通过线性扫描决策取值法进行空洞部分的填补，将如此得到的深度图和彩图裁剪成对应大小就可以得到实时并且准确的RGB‑深度图。本发明提供一种实时性良好、稳定性良好、准确性较高的基于Kinect的实时深度图与彩图的配准及优化方法。

主权项

1.一种基于Kinect的实时深度图与彩图的配准及优化方法，其特征在于：所述方法包括以下步骤：/n(1)利用Microsoft推出的应用程序编程接口Kinect SDK2.0来对Kinect设备进行连接；/n(2)获取原始深度数据流和彩色数据流；/n(3)利用背景帧填补深度图细小空洞；/n(4)利用双向线性扫描轮询插值法填补深度图较大空洞；/n(5)通过Kinect SDK2.0提供的函数MapDepthFrameToColorSpace获得深度图像和彩色图像的坐标映射关系m_pColorCoordinates；/n(6)对映射表m_pColorCoordinates坐标异常部分处理；过程如下：/n(6.1)坐标左边缘异常部分处理/n对于每一个在映射表中处于最左端的点(0,y)，其中0≤y＜depthHeight，depthHeight为深度图的高，执行以下步骤：/n(6.1.1)从映射表的(0,y)向右扫描，设扫描到的点为(index,y),则提取出三个连续像素点(index,y)，(index+1,y)，(index+2,y)，从映射表中分别提取出它们对应的坐标点A,B,C，执行6.1.2)；若index值为depthWidth，则停止扫描并结束步骤；其中depthWidth为深度图的宽；/n(6.1.2)如果A、B以及B、C曼哈顿距离都小于预先定义的阀值threshold，则认为A,B,C为无异常的连续坐标点，接着执行(6.1.3)；否则回到(6.1.1)；其中曼哈顿距离公式如下：/nd(i，j)＝|xi-xj|+|yi-yj|/n其中d(i,j)为曼哈顿距离，xi、yi为第一个坐标点的坐标，xj、yj为第二个坐标点的坐标；/n(6.1.3)从(index,y)往回遍历到(0,y),对于其间每一个点(i,y)，0≤i＜index,重置它在映射表的值m_pColorCoordinates(i,y)，假定为坐标D,其公式如下：/nD.X＝A.X-(index-i)*3/nD.Y＝A.Y/n其中D.X,D.Y分别为D的x,y坐标值，A.X,A.Y分别为A的x,y坐标值；/n遍历完后回到(6.1.1)；/n(6.2)坐标右边缘异常部分处理/n仿照步骤(6.1)处理最右端的点(depthWidth,y),其中0≤y＜depthHeight，depthWidth、depthHeight分别为深度图的宽和高；/n(6.3)标记重影坐标区域及内部坐标异常区域/n建立一个重影标记表map_use,大小为depthWidth*depthHeight，将map_use中的每一个点的值初始化为0，代表不为重影或者坐标异常区域，对于每一个在映射表中处于最左端的点(0,y)，其中0≤y＜depthHeight，执行以下步骤：/n(6.3.1)从映射表m_pColorCoordinates的(0,y)向右扫描，设扫描到的点为(index,y),则提取出两个连续像素点(index,y)，(index+1,y)，从映射表中分别提取出它们对应的坐标点A,B，执行(6.3.2)；若index值为depthWidth，则停止扫描并结束步骤；/n(6.3.2)如果A、B的X坐标符合关系A.X>B.X，则认为B为坐标异常点，接着执行(6.3.3)；否则回到(6.3.1)；/n(6.3.3)从(index+1,y)开始向右扫描，设扫描到的点为(i,y)，其对应的坐标为C,如果C.X<A.X,则标记map_user(i,y)的值为1，表示对应点处在重影或异常点区域，接着继续扫描；否则停止扫描，回到(6.3.1)；/n(7)建立与彩图对准的深度图像color_depth；/n(8)裁剪彩色图像和对准后的深度图像，减除深度相机和彩色相机拍摄区域不重合的区域，从而实现深度图像和彩色图像的完全对准。/n