[发明专利]一种弱纹理物体位姿估计方法和系统

说明书

本发明公开了一种弱纹理物体位姿估计方法和系统，利用点渲染分割网络植入实例分割方法，以高效率提取出弱纹理物体的高精度掩码的同时，利用空间变换网络，防止特征图像的畸变以及缩放，来实现对复杂场景中的弱纹理物体的高精度定位，通过拟合碎片模型信息来精准定位物体，应用局部碎片信息解决前景遮挡问题，然后进行深度融合提取出弱纹理物体的高精度点云，最后应用对齐精度优化进行点云的配准并最终得到高精度位姿，解决了现有的工业场景目标物体识别技术采用基于RGB识别，容易造成信息的缺失，前景遮挡问题也不能很好地解决，从而会影响估计的精度的技术问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种弱纹理物体位姿估计方法和系统。

背景技术

目标物体的位姿估计问题就是确定某一三维目标物体的方位指向问题。不同于一般目标物体的位姿识别，工业中的目标物体识别需要识别的目标物体通常具有表面低纹理的特性，即目标物体表面颜色、明暗变化不明显，难以从中提取出鲁棒的特征点，并且工业场景往往还伴随着杂乱、堆叠等复杂操作环境，这对目标物体的识别以及位姿估计带来极大的挑战。对于这些弱纹理物体，传统上基于RGB的方法由于需处理的数据量相对来说较小，网络结构较为轻量，因此具有较强的实时性，但是反之也会造成信息的缺失，前景遮挡问题也不能很好地解决，从而会影响估计的精度。

发明内容

本发明提供了一种弱纹理物体位姿估计方法和系统，用于解决现有的工业场景目标物体识别技术采用基于RGB识别，容易造成信息的缺失，前景遮挡问题也不能很好地解决，从而会影响估计的精度的技术问题。

有鉴于此，本发明第一方面提供了一种弱纹理物体位姿估计方法，包括：

将对偶相机拍摄的包含待识别目标物体的深度图像进行融合，得到融合后的深度特征图；

基于深度特征图对待识别目标物体进行基于光照补偿的物体表面重建，得到重建后的深度特征图；

将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码-解码网络，得到表面碎片模型和掩码特征图，其中，点渲染编码-解码网络的掩码预测头网格之后加入空间变换网络，掩码特征图包括表面碎片分类和高精度掩码；

对表面碎片模型进行几何多模型拟合，得到多实例3D-2D对应的初步位姿信息；

将融合后的深度特征图和掩码特征图融合，进行点云变换，得到高精度的待识别目标物体点云信息；

将待识别目标物体点云信息进行点云配准，得到点云配准结果；

将多实例3D-2D对应的初步位姿信息结合点云配准结果进行离群点过滤和对齐精度细化，输出最终的高精度位姿结果。

可选地，将重建后的深度特征图转化为HHA特征图后结合RGB图像送入点渲染编码-解码网络，包括：

将重建后的深度特征图转化为HHA特征图；

将HHA特征图的3个通道与RGB图像的3个通道堆叠，形成新的3通道RGB图像；

将新的3通道RGB图像送入点渲染编码-解码网络。

可选地，点渲染编码-解码网络的损失函数为：