[发明专利]一种物体六自由度姿态估计方法、系统、装置及介质

说明书

本发明公开了一种物体六自由度姿态估计方法、系统、装置及介质，其中方法包括：提取目标物体观测点云以及目标物体对应的三维模型的点级深度特征，获得两组深度特征；对两组深度特征进行特征的解耦，获得姿态特征、匹配特征；根据匹配特征获取部分到部分的关联关系以及完整到完整的关联关系；根据获得的两种关联关系对姿态特征和匹配特征进行对齐，获得姿态特征对和匹配特征对；根据匹配特征对对姿态特征对进行挑选及聚合，获得深度特征；根据深度特征对目标物体的六自由度姿态进行回归。本发明使用了部分到部分、完整到完整这两种关联关系，得到一个描述二者之间相对姿态的深度特征，提高了估计结果的鲁棒性，可广泛应用于计算机视觉领域。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种物体六自由度姿态估计方法、系统、装置及介质。

背景技术

近些年深度网络在三维计算机视觉领域体现出了优越的性能，其中，六自由度姿态估计任务作为在工业抓取、AR、VR等领域的核心技术而受到广泛关注。这些网络通过一系列的点云处理网络或者体素处理网络的堆叠，逐层地从目标物体观测点云中提取目标物体的姿态信息，并期望最终得出目标物体相对于该物体标准姿态的六自由度姿态的相对值，其中包括三维空间的旋转以及三维空间的平移。

目前主要的技术方案为：通过大量的标注数据来让网络学习找到三维相机所拍摄到的目标物体观测点云和该物体的三维模型在欧氏空间中点与点之间的对应关系，而后再通过多点透视成像(PnP)算法从这些对应关系中计算得到六自由度的姿态的相对值。虽然这些方法通过让网络找到在欧式空间中点与点的对应关系可以间接地得到被观测的目标物体相对于其三维模型的六自由度姿态，但由于从点与点之间的对应关系得到物体六自由度姿态的这个过程是不可导的，导致深度网络并没有直接地受到训练，进而导致其学习到的深度特征对于最终的六自由度姿态估计的任务来说不是最优的。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种物体六自由度姿态估计方法、系统、装置及介质。

本发明所采用的技术方案是：

一种物体六自由度姿态估计方法，包括以下步骤：

提取目标物体观测点云以及所述目标物体对应的三维模型的点级深度特征，获得两组深度特征；

对所述两组深度特征进行特征的解耦，分别获得目标物体观测点云和三维模型的姿态特征、匹配特征；

根据匹配特征获取目标物体观测点云中的每个点的深度特征到三维模型的每个点的深度特征的部分到部分的关联关系，以及获取三维模型中每个点的深度特征到目标物体观测点云中每个点的深度特征的完整到完整的关联关系；获得的这两种关联关系呈现出对偶的性质；

根据获得的两种关联关系对姿态特征和匹配特征进行对齐，获得姿态特征对和匹配特征对；

根据匹配特征对对姿态特征对进行挑选及聚合，获得包含有高质量姿态特征对的深度特征；

根据所述包含有高质量姿态特征对的深度特征对目标物体的六自由度姿态进行回归，实现六自由度姿态的估计。

进一步地，所述提取目标物体观测点云以及所述目标物体对应的三维模型的点级深度特征，获得两组深度特征，包括：

对观测到的目标物体的点云信息以及所述目标物体的对应的三维模型进行下采样，分别得到N_x和N_y个点；

对提取到的点进行体素化，通过三维稀疏卷积来提取二者体素级的特征；这里的二者指的是观测到的目标物体的点云以及所述目标物体对应的三维模型；

通过线性插值的方法将每个体素的特征映射到原始点上，得到观测到的目标物体的每个点的深度特征以及所述目标物体的对应的三维模型上每个点的深度特征