[发明专利]基于复合摄像机的高质量三维彩色图像获取方法及装置

摘要

本发明公开了一种基于复合摄像机的高质量三维彩色图像获取方法及装置，该装置包括二维摄像机、三维摄像机、主固定板、扩展应用接口板和三维摄像机固定连接板。本发明将三维摄像机与二维摄像机对同一场景同时获取的成像信息进行融合，将三维摄像机的深度图像插补成期望的高分辨率图像,完成二维摄像机的高质量二维彩色图像与插补后的三维摄像机深度图像的匹配关联，实现同一场景的高精度彩色图像和对应三维空间信息的实时同步获取,同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速三维信息获取的优势.本发明可广泛应用于工业视觉装配、检测、机器人视觉导航等领域，能提高对三维空间场景视觉理解与识别的速度、准确度和可靠性。

主权项

1.一种基于复合摄像机的高质量三维彩色图像获取方法，其特征在于，包括以下步骤：步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定；离线标定获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D，以及二维摄像机坐标系和三维摄像机坐标系之间对应的相对三维空间变换参数：空间旋转关系变换矩阵R和空间平移关系变换矩阵T，其中，M3D=αx3D0u03D00αy3Dv03D00010,]]>M2D=αx2D0u02D00αy2Dv02D00010;]]>其中f^3D为三维摄像机焦距，dx^3D,dy^3D分别表示三维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的三维摄像机主点的X轴和Y轴方向坐标值；其中f^2D为二维摄像机焦距，dx^2D,dy^2D分别表示二维摄像机中每一个像素在X轴和Y轴方向上的物理尺寸；分别表示用像素量纲表示的二维摄像机主点的X轴和Y轴方向坐标值；步骤2：同步成像步骤；由三维摄像机和二维摄像机对空间场景同步成像，三维摄像机获取的信息包括二维灰度图像GI和深度图像DI，其中深度图像信息与灰度图像信息按像素坐标一一对应；二维摄像机同步获取同一空间场景的二维彩色图像CI；步骤3：插补三维摄像机深度图像；将分辨率为U×V的深度图像DI插补成分辨率为M×N的插补后深度图像D^I，其中M=K_x×U,N=K_y×V，K_x为横向X方向插补系数，K_y为纵向Y方向插补系数；插补深度图像D^I中任意一点在原深度图像DI中对应的亚像素坐标的计算关系为：u3D=uI3D/Kx,v3D=vI3D/Ky;]]>步骤4：计算插补后深度图像D^I中任一像素点对应的三维信息计算方法为：对于插补后深度图像D^I中的任一像素点其深度信息为该像素点的图像值；该像素点对应的和按以下公式获得：XC3D=ZC3D(uI3D/Kx-u03D)αx3D,]]>YC3D=ZC3D(vI3D/Ky-v03D)αy3D;]]>步骤5：建立插补后深度图像D^I与二维彩色图像CI的映射关系；即求取D^I中的任一像素点对应的在二维彩色图像CI中的映射点坐标具体方法为：步骤a：将像素点对应的三维信息代入如下公式求得u^2D,v^2D：XC2DYC2DZC2D1=RTTT0T1XC3DYC3DZC3D1]]>ZC2Du2Dv2D1=αx2D0u02D00αy2Dv02D00010XC2DYC2DZC2D1=M2DXC2DYC2DZC2D1;]]>步骤b：对计算值u^2D,v^2D取整，获得插补后深度图像D^I中的任一像素点在二维彩色图像CI中的映射匹配点p_2D的坐标自此，对于插补后深度图像D^I中的任一像素点均能获得其对应的三维信息和彩色图像信息其中为二维彩色图像CI中像素点p_2D的彩色图像信息，即建立了以下映射关系：其中3D表示三维信息，color表示彩色图像信息。