[发明专利]基于CAD模型的物体位姿预测方法

权利要求书

1.一种基于CAD模型的物体位姿预测方法，其特征在于包括如下步骤：

通过标定获取单目摄像头的相关参数，并利用CAD模型生成粗匹配所需数据；

检测识别图像中的物体并输出图像的遮罩，通过物体的遮罩得到物体的相关轮廓信息；

通过物体的相关轮廓信息结合粗匹配数据得到物体的粗匹配位姿，然后通过迭代算法，得到物体的精确位姿。

2.如权利要求1所述的基于CAD模型的物体位姿预测方法，其特征在于，通过标定获取单目摄像头的相关参数的方法包括如下步骤：

构建相机成像模型：

M为三位空间点，m为M在图像平面投影的像点，按照相机涉及的坐标系之间的关系可得到世界坐标系到像素坐标的投影：

可将(1)写成(2)的形式

其中a_x，a_y分别是图像水平轴和垂直轴的尺度因子；K为相机内部参数矩阵；M₁中包含旋转矩阵和平移矢量，M₁中参数是由相机坐标系相对于世界坐标系的位置决定的，因此称M₁为相机外部参数矩阵；内部参数和外部参数矩阵的乘积M为投影矩阵；X_W为世界坐标系中物体中心W所在的x轴坐标，Y_W为世界坐标系中物体中心W所在的y轴坐标，Z_W为世界坐标系中物体中心W所在的z轴坐标；

相机焦距为f所在轴为z正方向，x与y轴处在光心O所在平面，以光心O为相机坐标系原点，在此相机坐标系下则物体中心所在位置用W来表示，其中：

W＝(W_x,W_y,W_z) (3)

规定物体中心就是物体CAD模型中心所在位置，若P＝(u_,v)为物体对应像素在图像上的坐标，K为相机内参矩阵，则可以得到此等式：

此等式表示实际物体中心所在位置W在相机坐标系下经过相机内参K后投影到图像后的二维坐标位置P。

3.如权利要求1所述的基于CAD模型的物体位姿预测方法，其特征在于，利用CAD模型生成粗匹配数据的方法如下：

首先通过物体CAD模型在指定位姿下渲染出物体的遮罩，通过物体的遮罩得到物体的边界框，而后根据不同的需要在边界框上每隔一定距离对物体轮廓进行采样；

以左边界框长度L为基准，把L分为n等份，每隔L/n为一个采样横坐标点，遍历每一个轮廓上的点在其横坐标等于采样横坐标点时计算其到左边框的距离，由于每个采样横坐标点可能对应多个轮廓采样距离，所以取多个距离中的最大和最小值作为此采样横坐标上对轮廓采样的采样值，把轮廓信息变为成一组采样值；

对采样值进行归一化，即把左边界框长度统一到一个单位下；

在指定距离上，以物体CAD模型中心为中心，在不同的旋转角度对物体的轮廓进行采样，把轮廓采样信息与相对应的位姿信息保存，得到物体的粗匹配的模板数据。

4.如权利要求1所述的基于CAD模型的物体位姿预测方法，其特征在于，所述检测识别图像中的物体并输出图像的遮罩的方法如下：

利用Mask-RCNN神经网络进行图像识别，输出物体的类别与物体的遮罩。

5.如权利要求4所述的基于CAD模型的物体位姿预测方法，其特征在于，在训练Mask-RCNN神经网络时，利用blender以及Opencv软件自动生成了数据集来训练。