[发明专利]一种基于热力图的单幅图像室内物体姿态估计方法

摘要

本发明属于目标姿态估计领域，公开了一种基于热力图的单幅图像室内物体姿态估计方法，所述基于热力图的物体姿态估计方法通过RPN网络提取多个目标物体的候选框；通过全卷积(FCN)网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，然后再通过使用PnP的方法计算目标物体的6D姿态估计；通过使用ShapeNet作为CAD模型库来合成大量的训练数据。本发明采用的基于热力图的物体姿态估计检测技术，具有很强的鲁棒性，可以在背景比较杂乱的室内场景和物体有部分遮挡的情况估计不同室内物体的姿态，适用范围较广，对光照不敏感而且不要求物体具有明显的纹理外观。

主权项

1.一种基于热力图的单幅图像室内物体姿态估计方法，其特征在于，首先通过conv5(VGG卷积神经网络的第五层卷积层)对输入的单幅RGB图像进行特征提取；再基于RPN网络提取室内场景下目标物体的候选框；然后通过FCN卷积得到每个目标物体的三维包围盒8个顶点在二维图像上对应的热力图；最后通过PnP方法计算每个目标物体和对应CAD模型之间的姿态变换矩阵即旋转矩阵和平移向量，获得物体的6D姿态；该方法中使用ShapeNet作为CAD模型库合成训练数据。