[发明专利]一种弱纹理物体位姿估计方法和系统

权利要求书

1.一种弱纹理物体位姿估计方法，其特征在于，包括：

将对偶相机拍摄的包含待识别目标物体的深度图像进行融合，得到融合后的深度特征图；

基于深度特征图对待识别目标物体进行基于光照补偿的物体表面重建，得到重建后的深度特征图；

将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码-解码网络，得到表面碎片模型和掩码特征图，其中，点渲染编码-解码网络的掩码预测头网格之后加入空间变换网络，掩码特征图包括表面碎片分类和高精度掩码；

对表面碎片模型进行几何多模型拟合，得到多实例3D-2D对应的初步位姿信息；

将融合后的深度特征图和掩码特征图融合，进行点云变换，得到高精度的待识别目标物体点云信息；

将待识别目标物体点云信息进行点云配准，得到点云配准结果；

将多实例3D-2D对应的初步位姿信息结合点云配准结果进行离群点过滤和对齐精度细化，输出最终的高精度位姿结果；

将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码-解码网络，包括：

将重建后的深度特征图转化为HHA特征图；

将HHA特征图的3个通道与RGB图像的3个通道堆叠，形成新的3通道RGB图像；

将新的3通道RGB图像送入点渲染编码-解码网络；

对表面碎片模型进行几何多模型拟合，得到多实例3D-2D对应的初步位姿信息，包括：

定义用于度量模型实例得分的新的质量函数，对表面碎片模型的位姿生成提议，新的质量函数为：

其中，Q为质量函数，p为空间点集P的一个点，h为物体实例，φ为点p到物体实例h的距离，h_∪为复合实例，ε为手动设定的阈值；

对表面碎片模型的位姿提议进行验证，验证时提议的接收标准为：

其中，J为Jaccard得分，ε_s为预置阈值，ε_s∈[0,1]；

使用简化的PEARE算法对通过提议的表面碎片模型的位姿进行优化，得到多实例3D-2D对应的初步位姿信息，简化的PEARE算法为：

其中，E(L)为用于表示两个物体点集的空间关联度的能量函数，P和q为两个点集，L_P和L_q为标签点集，w为权重，δ为判断条件。

2.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，点渲染编码-解码网络的损失函数为：

其中，点渲染编码-解码网络在训练时，以最小化所有像素的平均损失L(u)为迭代条件，E为softmax交叉熵损失，H是huber损失，u为图像中的像素，向量a(u)由所有碎片的预测概率以及对象的相对于碎片的所有预测概率组成，为a(u)对应的真实概率，b_i(u)为物体i在像素u出现的概率，为b_i(u)的真实标签概率，r_ij(u)为物体i的碎片j的3D空间信息，为r_ij(u)的真实标签，I为物体实例，J为物体实例的碎片模型，λ₁和λ₂为损失权重。

3.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，融合后的深度特征图的深度为：

其中，W₁,W₂为两个权重系数，D₁,D₂分别为两个相机拍摄的深度图的深度。

4.根据权利要求1所述的弱纹理物体位姿估计方法，其特征在于，使用改进的Super-4PCS算法对待识别目标物体点云信息进行点云配准。