[发明专利]一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法

说明书

本发明公开一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法，本发明针对增强现实及协作机器人技术对空间目标六自由度姿态信息的需求，结合目标3D模型多尺度包围框的特征，基于深度全卷积网络提出并实现了一种空间目标六自由度姿态估计方法，该方法鲁棒性强，准确率高且满足处理速度需求，能够在协作机器人抓取及增强现实等场景推广应用。

技术领域

本发明涉及到增强现实及机器人抓取等领域，特别涉及到一种基于空间目标多尺度包围框的六自由度姿态估计方法。

背景技术

在增强现实，协作机器人抓取等领域中，物体的空间姿态是一种必不可少的信息。传统方法通过激光相机获取场景及物体点云，并通过点云配准获取物体的相对位姿。但由于点云信息庞大冗余，且对设备具有一定要求，难以满足轻便快速的任务需求。

发明内容

为此本发明提出一种基于RGB图像的六自由度姿态估计方法，不需要额外的信息采集设备且能够保证稳定、快速的六自由度姿态估计。

一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法，包括以下步骤：

步骤1，对相机进行标定获取相机内参，对物体的3D模型进行计算，获取到物体的多尺度包围框，并通过相机内参矩阵映射至2D图像上；

步骤2，将多尺度包围框的组成点视为特征点，训练全卷积神经网络以检测、定位特征点，网络以RGB图像为输入，输出关于特征点的高斯热图；

步骤3，对神经网络输出的高斯热图进行非极大值抑制，获得具体的特征点二维坐标；

步骤4，通过改进的EPnP算法，将2D-3D特征点对应关系恢复为空间目标的六自由度姿态，进而为后续的抓取工作提供基础；

步骤1的具体实现方式包括以下子步骤，

步骤1.1，通过棋盘标定获取RGB相机内参；

步骤1.2，计算物体3D模型在空间坐标下x,y,z轴最大值及最小值，以此获取物体的普通尺寸边界框；计算x,y,z轴最大值及最小值的均值点，并将该轴上的长度(最大值减最小值)乘以系数，获取3D模型的不同尺度的边界框；

步骤1.3，通过相机的内参矩阵及物体的姿态信息将物体的3D多尺度边界框投影至不同场景的图片下，具体的计算方法如下：

x＝u′×f_x÷z′+C_x

y＝v′×f_y÷z′+C_y

其中，u,v,z分别代表在3D坐标下的x,y,z轴坐标，R代表旋转矩阵，T代表平移矩阵，fx,fy分别为相机x,y轴上的焦距，Cx,Cy代表相机主点位置，相机参数均以像素为单位，x,y代表在2D图像下的坐标；

步骤2的具体实现包括如下子步骤，

步骤2.1，通过模块式卷积对图像进行特征提取，得到特征图，为后续的特征点检测打下基础；

步骤2.2，采用注意力机制模块在尺寸通道不变的前提下做进一步的特征提取，在提取后连续进行三次模块化卷积并再次使用注意力机制模块提取特征；

步骤2.3，通过语义嵌入模块对得到的特征图进行降维，将特征点概率分布信息映射至n幅热图上，n为尺度数×8；

步骤3的具体实现方式包括以下子步骤，

步骤3.1，对高斯热图进行3x3的卷积操作，使像素点带有其相邻点的信息；

步骤3.2，对得到的高斯热图进行非极大值抑制，将特征点的概率分布转化为具体的坐标点；