[发明专利]一种基于单目RGB-D图像的类别级6D姿态估计方法

权利要求书

1.一种基于单目RGB-D图像的类别级6D姿态估计方法，包括前置阶段、训练阶段和重建阶段，其特征在于，各阶段如下：

1）前置阶段：

根据包含不同类别的物体实例三维模型数据集，获取每个类别的三维点云隐式形状编码；

2）训练阶段：

训练样本通过单幅的RGB-D图片生成特定目标实例的特征空间，结合对应类别的隐式形状编码先验输入，重建目标实例的标准归一化三维点云，并且进一步预测对应的坐标映射，根据预测的坐标映射与实际的三维坐标映射的差异，以及点云重建的误差，计算综合损失，完成网络的拟合；

步骤2）训练阶段具体包括如下步骤：

步骤2.1：根据目标物体的分割掩码裁剪出物体的RGB图像块，再根据相机内参矩阵和深度图计算物体可视区域每个像素对应的三维坐标，随机采样得到物体的采样点集；

步骤2.2：通过自注意力融合网络提取并融合物体实例的图像特征和点云特征，得到实例RGB-D图像对应的特征；

步骤2.3：根据物体的类别信息输入前置阶段中对应的类别形状编码；

步骤2.4：利用网络的重建分支预测物体在标准归一化空间中的三维点云，并计算出重建点云的误差；

步骤2.5：利用网络的另一分支预测一个辅助的对应关系矩阵；

步骤2.6：对应关系矩阵的每一行为一个采样点对应于重建点云的分类one-hot向量，将对应关系矩阵与重建点云相乘得到每个采样点对应的标准归一化三维模型坐标，计算坐标预测的误差；

步骤2.7：根据步骤4、步骤5和步骤6计算的误差对网络进行反向传播，重复训练直至网络收敛；

3）重建阶段：

训练阶段完成后，对单幅的RGB-D输入图片，进行目标检测与实例分割，并结合深度信息计算出目标实例采样点的三维坐标，根据目标实例的类别输入对应的类别形状编码先验，通过网络预测采样点对应的归一化三维点云坐标，通过Umeyama算法计采样点集与对应实例模型三维坐标点集之间的变换矩阵，进而解算出目标物体的6D姿态。

2.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在于，步骤1）前置阶段具体包括如下步骤：

步骤1.1：将同一类别的物体实例统一位姿朝向，缩放到单位尺度，形成标准归一化的三维模型数据集，用表示，其中C为三维模型的类别数目，N_c为类别c中三维模型的数量，则表示类别c中第i个实例物体的三维点云；

步骤1.2：利用归一化的三维模型数据集训练一个点云自编码器网络，用和分别表示训练好的编码器和解码器；

步骤1.3：利用训练好的点云编码器对每个三维模型采样点进行编码，三维模型对应的隐式特征编码用表示；

步骤1.4：将每个类别中所有物体实例的隐式编码向量逐元素取平均，得到每个类别的平均隐式编码向量，称为类别形状隐式编码，用表示，则。

3.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在于，所述步骤2）训练阶段的训练样本包括不同场景下的RGB-D图像、图像中对应目标物体的三维模型、分割掩码及类别信息、各个类别的隐式形状编码和目标物体二维像素点对应的归一化点云模型三维坐标映射。

4.根据权利要求2所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在于，所述前置阶段步骤1.2中：

点云自动编码器网络训练时，损失函数为采样点云与重建点云的Chamfer距离误差：

其中P为采样点云，为重建点云，a、b分别表示点集P和中的采样点坐标。

5.根据权利要求1所述一种基于单目RGB-D图像的类别级6D姿态估计方法，其特征在于，所述训练阶段步骤2.1中：

需要根据深度信息计算目标物体二维像素对应的三维坐标，并随机采样768个坐标点，若目标实例的像素点不足768，则重复采样，补足至足够的采样点。