[发明专利]一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法

权利要求书

1.一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法，其特征在于，包括以下步骤：

步骤1，对相机进行标定获取相机内参，对物体的3D模型进行计算，获取到物体的多尺度包围框，并通过相机内参矩阵映射至2D图像上；

步骤2，将多尺度包围框的组成点视为特征点，训练全卷积神经网络以检测、定位特征点，网络以RGB图像为输入，输出关于特征点的高斯热图；

步骤3，对神经网络输出的高斯热图进行非极大值抑制，获得具体的特征点二维坐标；

步骤4，通过改进的EPnP算法，将2D-3D特征点对应关系恢复为空间目标的六自由度姿态，进而为后续的抓取工作提供基础；

步骤1包括以下子步骤，

步骤1.1，通过棋盘标定获取RGB相机内参；

步骤1.2，计算物体3D模型在空间坐标下x,y,z轴最大值及最小值，以此获取物体的普通尺寸边界框；计算x,y,z轴最大值及最小值的均值点，并将该轴上的长度(最大值减最小值)乘以系数，获取3D模型的不同尺度的边界框；

步骤1.3，通过相机的内参矩阵及物体的姿态信息将物体的3D多尺度边界框投影至不同场景的图片下，具体的计算方法如下：

x＝u′×f_x÷z′+C_x

y＝v′×f_y÷z′+C_y

其中，u,v,z分别代表在3D坐标下的x,y,z轴坐标，R代表旋转矩阵，T代表平移矩阵，fx,fy分别为相机x,y轴上的焦距，Cx,Cy代表相机主点位置，相机参数均以像素为单位，x,y代表在2D图像下的坐标；

步骤2包括如下子步骤，

步骤2.1，通过模块式卷积对图像进行特征提取，得到特征图，为后续的特征点检测打下基础；

步骤2.2，采用注意力机制模块在尺寸通道不变的前提下做进一步的特征提取，在提取后连续进行三次模块化卷积并再次使用注意力机制模块提取特征；

步骤2.3，通过语义嵌入模块对得到的特征图进行降维，将特征点概率分布信息映射至n幅热图上，n为尺度数×8；

步骤3包括以下子步骤，

步骤3.1，对高斯热图进行3x3的卷积操作，使像素点带有其相邻点的信息；

步骤3.2，对得到的高斯热图进行非极大值抑制，将特征点的概率分布转化为具体的坐标点；

步骤4包括以下子步骤，

步骤4.1，通过多尺度包围框线段之间的平行关系调整特征点位置，减少神经网络的误差；

步骤4.2，3D模型中的线段与2D图像中的线段拥有相同的比例关系，通过2D-3D线段之间的等比关系对特征点进行扩充，降低精度丢失带来的影响；

步骤4.3，对扩充后得到的特征点集进行随机采样，每次采样n个特征点通过PnP算法求解位姿，将该过程执行m次，对m个位姿结果求取与其他结果的欧氏距离，选择距离最小的结果作为最终结果。