[发明专利]一种双目视觉的定位方法、装置、电子设备及存储介质

权利要求书

1.一种双目视觉的定位方法，用于机器人对抓取目标进行定位，所述机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，所述双目相机包括左相机和右相机；其特征在于，包括步骤：

A1.获取所述双目相机在同一水平线上的至少五个不同采集位置处采集的所述抓取目标的图像；所述图像包括左相机图像和右相机图像；

A2.基于各所述左相机图像分别生成所述抓取目标的检测框；

A3.在各所述右相机图像中生成所述抓取目标的匹配框，使所述匹配框内部区域与对应的所述左相机图像的所述检测框内部区域的相似性最大；

A4.根据所述检测框和所述匹配框获取对应各所述采集位置的所述抓取目标在末端执行器坐标系下的第一三维位置信息；

A5.获取所述双目相机在各所述采集位置时的所述末端执行器在机械臂坐标系下的第一位姿数据；

A6.根据所述第一三维位置信息和所述第一位姿数据，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。

2.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A2包括：

基于各所述左相机图像，分别采用YOLO算法检测所述抓取目标；

根据检测到的所述抓取目标生成所述检测框。

3.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A3包括：

在各所述右相机图像中，以与对应的所述左相机图像的检测框尺寸相同的窗口，采用滑窗方法获取所述抓取目标的多个候选框；

根据以下公式计算各所述候选框内部区域与对应的所述左相机图像的检测框内部区域的相似性：

；

式中，是所述右相机图像的候选框内部区域与对应的左相机图像的检测框内部区域的相似性，是所述左相机图像的检测框内部区域的像素值均值，是所述右相机图像的候选框内部区域的像素值均值，是所述左相机图像的检测框内部区域的像素值方差，是所述右相机图像的候选框内部区域的像素值方差，是所述左相机图像的检测框内部区域的像素点的像素值和所述右相机图像的候选框内部区域的像素点的像素值的协方差，、是预设常数；

以其内部区域与所述左相机图像的检测框内部区域的相似性最大的所述候选框作为对应的所述右相机图像的所述匹配框。

4.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A4包括：

根据所述检测框和所述匹配框，采用以下计算公式获取对应各所述采集位置的所述抓取目标在左相机坐标系下的第二三维位置信息：

；

；

；

是所述抓取目标在所述左相机坐标系下的第二三维位置信息，是所述左相机图像的检测框中心的像素行坐标，是所述右相机图像的匹配框中心的像素行坐标， 是所述左相机图像的检测框中心的像素列坐标，是左相机光心坐标；是所述左相机的焦距，是左相机光心到右相机光心的距离；

根据所述第二三维位置信息和所述左相机坐标系到所述末端执行器坐标系的坐标转换矩阵获取所述抓取目标在所述末端执行器坐标系下的第一三维位置信息。

5.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A6包括：

根据所述第一三维位置信息，获取所述抓取目标在机械臂坐标系下的初始三维位置信息；

根据各所述第一三维位置信息、所述第一位姿数据和所述初始三维位置信息，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。

6.根据权利要求5所述的双目视觉的定位方法，其特征在于，所述根据所述第一三维位置信息，获取所述抓取目标在机械臂坐标系下的初始三维位置信息的步骤包括：

以所述相似性最大的所述采集位置对应的所述第一三维位置信息为所述抓取目标的最可靠三维位置信息；

根据所述最可靠三维位置信息和所述第一位姿数据获取所述抓取目标在机械臂坐标系下的初始三维位置信息。