[发明专利]基于彩色图像与深度图像的目标物体识别与定位的方法

摘要

本发明涉及一种基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是，包括以下步骤：（1）机器人采用远距离HSV颜色识别确认目标区域，根据RGB彩色图像和深度图像得出距离目标区域的距离，机器人进行导航与路径规划移动至目标区域附近；（2）机器人到达目标区域附近时，通过SURF特征点检测，获得目标物体的RGB特征信息，将该RGB特征信息与预存的目标物体的RGB特征信息进行特征匹配，若符合已有物体模型，则对该目标物体进行定位；（3）由RGB彩色图像采集到成像平面，获得目标物体在成像平面中的二维坐标，由深度图像获得目标物体与摄像机的相对距离，从而获得目标物体的三维坐标。本发明能够快速判断物体类别和确定三维坐标。

主权项

1.一种基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是，包括以下步骤：(1)机器人和摄像头一起运动，采用远距离HSV颜色识别确认目标区域并获得RGB彩色图像，采用深度摄像头获取深度图像；根据RGB彩色图像和深度图像得出距离目标区域的距离，机器人进行导航与路径规划移动至目标区域附近；(2)机器人到达目标区域附近时，通过SURF特征点检测，获得目标物体的RGB特征信息，将该RGB特征信息与预存的目标物体的RGB特征信息进行特征匹配，若符合已有物体模型，则对该目标物体进行定位；当目标物体被障碍物遮挡时，将目标物体的深度特征信息与SURF检测到的RGB特征信息相结合，获得目标物体的RGB‑D特征信息，通过kNN(k‑Nearest Neighbor)分类算法，和预存目标物体的RGB‑D特征信息进行特征匹配；(3)由RGB彩色图像采集到成像平面，获得目标物体在成像平面中的二维坐标，由深度图像获得目标物体与摄像机的相对距离，从而获得目标物体的三维坐标；深度图像信息中每一个像素点在摄像机坐标下的空间坐标为：其中，(δ_x，δ_y)表示深度摄像机的畸变，(p_x，p_y)表示深度图像的中心点，f_x与f_y为比例系数；d为深度摄像机到成像平面的距离；所述深度摄像机和RGB摄像机的坐标变换公式为：(x_c，y_c，z_c)^T＝R_c‑d*(x_d，y_d，z_d)^T+T_c‑d；其中，(x_d，y_d，z_d)^T为深度摄像机坐标下的坐标，(x_c，y_c，z_c)^T为彩色摄像机坐标系下的坐标，R_c‑d为RGB摄像机与深度摄像机坐标系的旋转变换矩阵，T_c‑d为对应的平移变换矩阵；所述RGB摄像机与机器人本体坐标变换公式为：(x_r，y_r，z_r)^T＝R_r‑c*(x_c，y_c，z_c)^T+T_r‑c；其中，(x_r，y_r，z_r)^T为机器人本体坐标下的坐标，(x_c，y_c，z_c)^T为RGB摄像机坐标系下的坐标，R_r‑c为机器人本体与RGB摄像机坐标系的旋转变换矩阵，T_r‑c为对应的平移变换矩阵；经过变换后的坐标即为目标物体的三维坐标。