[发明专利]一种结合深度学习和轮廓点云重建的目标位姿估计方法

说明书

本发明涉及目标位姿估计技术领域，涉及一种结合深度学习和轮廓点云重建的目标位姿估计方法，包括以下步骤：S1、对双目视觉系统进行标定并立体校正；S2、使用训练得到的目标检测网络模型识别出左、右摄像机图像中的目标，并得到目标的边界区域；S3、对左右摄像机图像中检测的目标的边界区域使用LSD算法进行直线段检测；S4、结合深度学习目标检测网络的输出和多约束的方法对直线段进行匹配；S5、重建目标的轮廓点云；S6、对目标进行位姿估计。本发明通过左右摄像机，利用YOLOv4深度学习算法并结合轮廓点云重建，立体匹配的计算时间短，同时计算量小，同时普通摄像机成本大大降低。

技术领域

本发明涉及目标位姿估计技术领域，尤其涉及一种结合深度学习和轮廓点云重建的目标位姿估计方法。

背景技术

位姿估计的目的是获取待测目标在摄像机坐标系下的三维坐标以及三维旋转向量；很多情况下只有准确地估计目标的6D位姿才可以帮助进行机器下一步的操作和决策；例如在智能机器人的相关任务中，识别目标的6D位姿，可以为抓取和运动规划提供有用的信息；在虚拟现实应用中，目标的6D位姿是支持任何对象之间虚拟交互的关键。

目前6D位姿估计方法主要为点云配准法，该方法可以处理复杂形状和弱纹理的目标，具有良好的精确性和鲁棒性；点云配准法根据采集点云数据方式的不同可以分为基于双目视觉的方法和基于深度相机的方法。

现有的基于双目视觉的方法大多先通过SGBM(Semi-Global Block Matching)立体匹配算法求取场景的视差图，然后根据视差图重建场景的点云并分割出目标，最后和模板点云配准得到目标的位姿；但该方法由于重建整个场景的点云，因此立体匹配的计算时间过长；基于深度相机的方案首先获取目标的点云，并计算点云中各个点的三维特征，然后根据三维特征进行位姿估计，此方法对目标表面的稠密点云进行计算，计算量大，且深度相机的成本较高，不具有普及性；因此，如何提供一种计算量小，成本低，且精度较高的位姿估计方法是本领域技术人员亟需解决的问题。

发明内容

本发明所要解决的技术问题是：利用YOLOv4深度学习算法获得左右摄像机图像目标边界区域、使用LSD算法和多约束的方法对目标进行直线段检测和匹配、重建目标的轮廓点云、对目标进行位姿估计，立体匹配的计算时间短，同时计算量小，另外利用普通摄像机采集图片使开发成本大大降低。

本发明所采用的技术方案：一种结合深度学习和轮廓点云重建的目标位姿估计方法，包括以下步骤：

S1、采用张正友棋盘格标定的方式对双目视觉系统进行标定，基于标定出的参数，使用Bouguet算法对双目视觉摄像机进行标定并立体校正，选取多种目标作为分析对象，通过YOLOv4网络训练多种目标，建立多种目标检测网络模型；

S2、使用训练得到的目标检测网络模型识别出左、右摄像机图像中的目标，并得到目标的边界区域；

S3、对左右摄像机图像中检测的目标的边界区域使用LSD算法进行直线段检测；

S4、结合深度学习目标检测网络输出的类别、边界区域和多约束的方法对直线段进行匹配；

S5、重建目标的轮廓点云；

S6、使用点云配准的方法对目标进行位姿估计。

进一步的，步骤S3包括：

S31、取出所有直线段的端点，把欧式距离小于设定阈值d的端点归为同一组；

S32、针对具体的任一组端点，如果该组中端点个数大于等于2，则将该组端点合并为同一点，记为P_r，P_r计算如下：

其中，P_i为当前组中任意两端点分别所属直线段延长线的交点，n为组中端点的个数，表示从n个端点中任取2个端点的组合数；