[发明专利]一种基于单目RGB-D图像的类别级6D姿态估计方法

说明书

本发明公开了一种基于单目RGB‑D图像的类别级6D姿态估计方法，本方法引入RGB‑D图像特征融合机制，通过自注意力机制融合RGB‑D图像中目标实例的像素颜色特征和点云几何特征，获取目标实例更好的特征表达；并且引入类别形状隐式编码先验来克服同一类别下不同实例物体之间的形状差异。本方法首先对单幅RGB‑D图片进行目标检测与实例分割，结合深度信息计算出目标实例采样点的三维坐标；根据目标实例的类别输入对应的类别形状编码先验，基于一种多分支的网络结构，分别预测目标实例的点云模型和采样点的对应关系矩阵，进而运算出采样点对应的三维点云坐标；最后解算出目标物体的6D姿态。

技术领域

本发明属于计算机视觉和场景理解领域，涉及一种基于单目RGB-D图像的类别级6D姿态估计方法。

背景技术

由于模糊性（例如视差的存在），基于单目图像的6D姿态估计是一个不适定问题。与实例级6D姿态估计不同，类别级6D姿态估计需要很强的先验知识。目前实例级别的物体6D姿态估计研究取得了很大的进展，但是相比之下，类别级的物体6D姿态估计问题则面临着诸多挑战。 首先，在缺少物体三维模型的前提下估计物体6D姿态的准确率不高。其次，同一类别的不同物体实例之间在形状、尺寸、纹理上都会有不同程度的差异，导致算法类别泛化的能力受限。

发明内容

针对以上问题，本发明提供一种基于单目RGB-D图像的类别级6D姿态估计方法，这种方法充分利用了深度学习方法在图像领域的成功以及类别形状编码的先验信息，可以在物体三维模型未知情况下预测物体的6D姿态。

本专利提供一种基于单目RGB-D图像的类别级6D姿态估计方法，包括前置阶段、训练阶段和重建阶段，各阶段如下：

1）前置阶段：

根据包含不同类别的物体实例三维模型数据集，获取每个类别的三维点云隐式形状编码；

2）训练阶段：

训练样本通过单幅的RGB-D图片生成特定目标实例的特征空间，结合对应类别的隐式形状编码先验输入，重建目标实例的标准归一化三维点云，并且进一步预测对应的坐标映射，根据预测的坐标映射与实际的三维坐标映射的差异，以及点云重建的误差，计算综合损失，完成网络的拟合；

3）重建阶段：

训练阶段完成后，对单幅的RGB-D输入图片，进行目标检测与实例分割，并结合深度信息计算出目标实例采样点的三维坐标，根据目标实例的类别输入对应的类别形状编码先验，通过网络预测采样点对应的归一化三维点云坐标，通过Umeyama算法计采样点集与对应实例模型三维坐标点集之间的变换矩阵，进而解算出目标物体的6D姿态。

作为本发明进一步改进，步骤1）前置阶段具体包括如下步骤：

步骤1.1：将同一类别的物体实例统一位姿朝向，缩放到单位尺度，形成标准归一化的三维模型数据集，用表示，其中C为三维模型的类别数目，N_c为类别c中三维模型的数量，则表示类别c中第i个实例物体的三维点云；

步骤1.2：利用归一化的三维模型数据集训练一个点云自编码器网络，用和分别表示训练好的编码器和解码器；

步骤1.3：利用训练好的点云编码器对每个三维模型采样点进行编码，三维模型对应的隐式特征编码用表示；

步骤1.4：将每个类别中所有物体实例的隐式编码向量逐元素取平均，得到每个类别的平均隐式编码向量，称为类别形状隐式编码，用表示，则。