[发明专利]物体抓取点的视觉定位方法、装置、存储介质及电子设备

权利要求书

1.一种物体抓取点的视觉定位方法，其特征在于，所述方法包括：

通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；

将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；

根据所述双目相机的参数，将所述第二投影点映射到所述第一子相机的坐标系下，得到所述第二投影点在所述第一图像上的目标坐标；

在所述目标坐标与所述第一投影点在所述第一子相机的坐标系下的坐标之间距离在的预设阈值内的情况下，确定所述第一投影点与第二投影点为配对投影点；

根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；

将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。

2.根据权利要求1所述的方法，其特征在于，所述抓取点定位模型的样本集是通过如下方式获得的：

获取样本物体的三原色图像以及对应所述三原色图像的深度图像；

根据所述深度图像以及拍摄所述深度图像的相机的内参得到三维点云，并将所述三维点云与模型库中的标准模型配准得到抓取点；

通过投影变换将所述抓取点投影到所述三原色图像上，得到带有投影点标注的所述三原色图像，其中，所述抓取点定位模型样本集包括带有投影点标注的所述三原色图像。

3.根据权利要求1所述的方法，其特征在于，所述双目相机的参数包括所述第一子相机的第一内部参数、所述第二子相机的第二内部参数以及所述第一子相机与所述第二子相机之间的外部参数，所述根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，包括：

根据所述第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；

根据所述第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；

根据所述外部参数，将所述第二三维坐标系中的所述第二投影点映射到所述第一三维坐标系中，使得所述第一投影点与所述第二投影点均处于所述第一三维坐标系。

4.根据权利要求1-3任一项所述的方法，其特征在于，在所述将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标之前，包括：

确定所述第一射线与所述第二射线之间存在交点；

所述方法还包括：

在所述第一射线与所述第二射线没有交点的情况下，将所述第一射线与第二射线的最小二乘解作为所述目标物体的抓取点的三维坐标。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述第一抓取点信息和所述第二抓取点信息还包括所述目标物体的物品类别和/或二维包围框。