[发明专利]基于彩色图像与深度图像的目标物体识别与定位的方法

权利要求书

1.一种基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是，包括以下步骤：

(1)机器人和摄像头一起运动，采用远距离HSV颜色识别确认目标区域并获得RGB彩色图像，采用深度摄像头获取深度图像；根据RGB彩色图像和深度图像得出距离目标区域的距离，机器人进行导航与路径规划移动至目标区域附近；

(2)机器人到达目标区域附近时，通过SURF特征点检测，获得目标物体的RGB特征信息，将该RGB特征信息与预存的目标物体的RGB特征信息进行特征匹配，若符合已有物体模型，则对该目标物体进行定位；

当目标物体被障碍物遮挡时，将目标物体的深度特征信息与SURF检测到的RGB特征信息相结合，获得目标物体的RGB-D特征信息，通过kNN(k-Nearest Neighbor)分类算法，和预存目标物体的RGB-D特征信息进行特征匹配；

(3)由RGB彩色图像采集到成像平面，获得目标物体在成像平面中的二维坐标，由深度图像获得目标物体与摄像机的相对距离，从而获得目标物体的三维坐标；

深度图像信息中每一个像素点在摄像机坐标下的空间坐标为：

其中，(δ_x，δ_y)表示深度摄像机的畸变，(p_x，p_y)表示深度图像的中心点，f_x与f_y为比例系数；d为深度摄像机到成像平面的距离；

所述深度摄像机和RGB摄像机的坐标变换公式为：

(x_c，y_c，z_c)^T＝R_c-d*(x_d，y_d，z_d)^T+T_c-d；

其中，(x_d，y_d，z_d)^T为深度摄像机坐标下的坐标，(x_c，y_c，z_c)^T为彩色摄像机坐标系下的坐标，R_c-d为RGB摄像机与深度摄像机坐标系的旋转变换矩阵，T_c-d为对应的平移变换矩阵；

所述RGB摄像机与机器人本体坐标变换公式为：

(x_r，y_r，z_r)^T＝R_r-c*(x_c，y_c，z_c)^T+T_r-c；

其中，(x_r，y_r，z_r)^T为机器人本体坐标下的坐标，(x_c，y_c，z_c)^T为RGB摄像机坐标系下的坐标，R_r-c为机器人本体与RGB摄像机坐标系的旋转变换矩阵，T_r-c为对应的平移变换矩阵；

经过变换后的坐标即为目标物体的三维坐标。

2.如权利要求1所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述步骤(2)中，当特征匹配结构不符合已有物体模型时，机器人重新开始寻找目标区域。

3.如权利要求1所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述步骤(3)的具体过程为：将RGB彩色图像进行中值滤波、卡尔曼滤波、图像阈值分割处理后，获取目标物体的平面二维坐标；将深度图像信息与彩色图像信息进行坐标变换与配准，再进行去除噪声与滤波处理后，得出对应的空间三维坐标。