[发明专利]一种弱纹理物体的位姿估计方法及系统

说明书

本发明提供一种弱纹理物体的位姿估计方法及系统，所述方法包括：将原始RGB图像送入包含多重注意力机制模块的2D检测器，获取目标物体的类别、边界框和掩码信息；将原始深度图像经过转换得到图像的三维点云数据；通过最远点采样算法计算目标物体掩码边界的4个像素点，进而确定各物体的掩码对角线信息；将目标物体按照边界框最长边乘以系数进行裁剪之后的图像和掩码信息输入3D旋转估计网络，与码本进行匹配，得到目标物体的旋转估计；然后将旋转估计和掩码信息输入到3D平移估计网络，通过投影距离估计技术，获得目标物体的平移估计；最后将得到的图像的三维点云数据和目标物体的旋转估计以及平移估计输入至ICP位姿细化网络得到目标物体最终的6D位姿。

技术领域

本发明涉及位姿估计技术领域，特别是涉及一种弱纹理物体的位姿估计方法及系统。

背景技术

机器视觉是以计算机视觉为基础，结合多门现代科学技术，实现在工业检测中对空间物体尺寸测量和定位的一门技术。通过图像传感器对空间物体的三维坐标进行检测，计算物体的大小、移动状态、形状等特征。

纹理信息是一种描述物体表面的全局信息，描述了对应邻域空间中强度级别的空间分布。无纹理的刚性物体在人类环境中很常见，在各种应用中需要从图像中学习、检测和精确定位它们。刚性物体的姿态有6个自由度，即3个平移自由度和3个旋转自由度。物体姿态估计旨在检测物体并估计它们相对于相机坐标系的方向和平移，即估计物体相对于相机的3D旋转和3D平移。准确的姿势估计对于各种应用是必不可少的，例如增强现实，自动驾驶和机器人操纵等。在机器人技术中，6D物体姿态有助于空间推理，并允许末端执行器对物体进行操作。在增强现实场景中，物体姿态可以通过附加信息(如装配指导提示)来增强人们对现实的感知。

随着深度学习算法的发展，越来越多的位姿估计方法利用神经网络的强大的学习能力来提升位姿估计的精度。然而，由于弱纹理意味着纹理的缺乏，纹理像素较大，并且纹理像素之间的色调差异较小，无法较好进行特征提取和识别，导致在针对于弱纹理物体的位姿估计任务上存在较大的挑战。

发明内容

为解决以上现有技术问题，本发明提供一种弱纹理物体的位姿估计方法，提高对于弱纹理物体的位姿估计的准确性。

本发明第一方面提供一种弱纹理物体的位姿估计方法，包括：

获取第一图像，通过包含多重注意力机制模块的2D检测器网络对所述第一图像进行处理，得到所述第一图像中每个物体的类别、每个物体的2D边界框及每个物体的掩码；

通过相机的内参数矩阵，将所述第一图像的深度信息转换为点云数据；

通过最远点采样算法对每个物体的掩码边界进行处理，得到各物体的掩码边界所对应的4个像素点，通过计算4个像素点的对角线长度，确定各物体的掩码对角线信息；

根据3D旋转估计网络对所述第一图像裁剪后得到的图像、目标物体的2D边界框及目标物体的掩码对角线信息进行处理，得到所述第一图像中目标物体的3D旋转估计信息；

根据3D平移估计网络对所述目标物体的掩码对角线信息及3D旋转估计信息进行处理，得到目标物体的3D平移估计信息；

通过ICP位姿细化网络对所述点云数据、所述目标物体的3D旋转估计信息及所述目标物体的3D平移估计信息进行处理，得到目标物体的最终姿态。

进一步地，所述通过包含多重注意力机制模块的2D检测器网络对所述第一图像进行处理，得到所述第一图像中每个物体的类别、每个物体的2D边界框及每个物体的掩码，具体地：

对所述第一图像进行对象检测及实例分割，得到所述第一图像中每个物体的类别、每个物体的2D边界框及每个物体的掩码。

进一步地，所述对所述第一图像进行对象检测及实例分割，得到所述第一图像中每个物体的类别、每个物体的2D边界框及每个物体的掩码，具体为：