[发明专利]一种双目视觉的定位方法、装置、电子设备及存储介质

说明书

本申请涉及视觉定位技术领域，特别涉及一种双目视觉的定位方法、装置、电子设备及存储介质，通过获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；可高效地对部分被遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。

技术领域

本申请涉及视觉定位技术领域，具体而言，涉及一种双目视觉的定位方法、装置、电子设备及存储介质。

背景技术

机器人的应用越来越广泛，在果园中采用机器人采摘果实有利于节省人工成本以及提高采摘效率，机器人采摘果实时，快速且精确的定位可以有效提高采摘效率，目前已经有很多对果实的定位技术，但是在果园实际应用场景中，会存在部分地被叶子挡住的果实，使得机器人对果实定位误差较大甚至定位失败，现有技术利用sift算法获取目标的定位方法，但是其计算量比较大，影响目标定位的效率，从而影响采摘的效率。

因此，现有技术有待改进和发展。

发明内容

本申请的目的在于提供一种双目视觉的定位方法、装置、电子设备及存储介质，基于双目相机多个位置拍照获取目标定位，从而提高机器人对抓取目标进行定位的有效性。

第一方面，本申请提供了一种双目视觉的定位方法，用于机器人对抓取目标进行定位，所述机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，所述双目相机包括左相机和右相机；包括步骤：

A1.获取所述双目相机在同一水平线上的至少五个不同采集位置处采集的所述抓取目标的图像；所述图像包括左相机图像和右相机图像；

A2.基于各所述左相机图像分别生成所述抓取目标的检测框；

A3.在各所述右相机图像中生成所述抓取目标的匹配框，使所述匹配框内部区域与对应的所述左相机图像的所述检测框内部区域的相似性最大；

A4.根据所述检测框和所述匹配框获取对应各所述采集位置的所述抓取目标在末端执行器坐标系下的第一三维位置信息；

A5.获取所述双目相机在各所述采集位置时的所述末端执行器在机械臂坐标系下的第一位姿数据；

A6.根据所述第一三维位置信息和所述第一位姿数据，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。

该双目视觉的定位方法，通过双目相机在同一水平线上的至少五个不同采集位置采集抓取目标的图像，有利于提高被部分叶子挡住的果实进行定位的准确性，减少定位误差，与只在一个位置上采集抓取目标的图像以完成左右相机匹配定位的方法相比，定位准确性更高；通过左相机图像和右相机图像分别获取抓取目标的检测框和匹配框，并使匹配框内部区域与检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器的第一位姿数据，根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；从而，该双目视觉的定位方法可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。

优选地，步骤A2包括：

基于各所述左相机图像，分别采用YOLO算法检测所述抓取目标；

根据检测到的所述抓取目标生成所述检测框。

通过YOLO算法检测抓取目标，可以快速检测到包含抓取目标的检测框，提升获取检测框的效率。

优选地，步骤A3包括：