[发明专利]一种物体位姿检测方法及装置

说明书

本申请公开了一种物体位姿检测方法及装置，本申请基于目标物体的观察图像处理后得到的二值轮廓分割图，将二值轮廓分割图作为ResNet网络模型的输入量，通过ResNet网络模型的运算，确定目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；基于关键点信息、边缘向量信息以及图像像素对称对应关系信息，通过仿射空间位姿换算方式以及EPnP算法进行运算，得到目标物体的初始位姿参数。当目标物体部分被遮挡的情况下也能够检测出位姿参数，解决了现有技术的位姿检测方法在遮挡环境下准确度低的技术问题，为机器人的工件物体抓取任务提供信息，进而提升流水线的生产效率。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种物体位姿检测方法及装置。

背景技术

随着深度学习算法的发展，越来越多的位姿估计方法利用神经网络的强大学习能力来提升位姿检测的精度。这些位姿检测方法运用于工件等物体检测，提高了流水线生产的效率和算法的可靠性，极大地提升实际生产效能。

然而，现有技术的位姿检测方法受实际环境影响较大，特别是在遮挡环境下，会存在位姿检测准确度大幅度降低的技术问题。

发明内容

本申请提供了一种物体位姿检测方法及装置，用于解决现有技术的位姿检测方法在遮挡环境下准确度低的技术问题。

本申请第一方面提供了一种物体位姿检测方法，包括：

获取包含待检测的目标物体的观察图像；

基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图；

将所述二值轮廓分割图作为ResNet网络模型的输入量，通过所述ResNet网络模型的运算，确定所述目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；

基于所述关键点信息、所述边缘向量信息以及所述图像像素对称对应关系信息，通过仿射空间位姿换算方式以及EPnP算法，得到所述目标物体的初始位姿参数。

优选地，得到所述目标物体的初始位姿参数之后还包括：

基于所述目标物体的标准三维模型，结合所述初始位姿参数，构建所述目标物体的渲染图像；

对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值，以便基于所述初始位姿参数与所述位姿参数偏差值，确定所述目标物体的实际位姿参数。

优选地，对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值具体包括：

将所述渲染图像与所述观察图像作为FlowNetSimple网络模型的输入量，通过所述FlowNetSimple网络模型以及点匹配损失函数对所述渲染图像与所述观察图像进行特征比较运算，以确定所述初始位姿参数与实际位姿参数的位姿参数偏差值。

优选地，所述点匹配损失函数具体为：

式中，x代表图像中的像素点，n为像素点的数量，p代表所述渲染图像，代表所述观察图像，R代表所述渲染图像中目标物体的位姿旋转分量，代表所述观察图像中目标物体的位姿旋转分量，t代表所述渲染图像中目标物体的位姿平移分量，代表所述观察图像中目标物体的位姿平移分量。

优选地，获取包含待检测的目标物体的观察图像之后，且基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图之前还包括：

基于所述观察图像中包含的目标物体，从所述观察图像中分割出所述目标物体的图像，以便基于分割得到的图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图。

本申请第二方面提供了一种物体位姿检测装置，包括：