[发明专利]物体抓取点的视觉定位方法、装置、存储介质及电子设备

说明书

本公开涉及一种物体抓取点的视觉定位方法、装置、存储介质及电子设备，所述方法包括：通过双目相机拍摄目标物体，得到第一图像以及第二图像；将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的第一抓取点信息，第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。

技术领域

本公开涉及机器人领域，具体地，涉及一种物体抓取点的视觉定位方法、装置、存储介质及电子设备。

背景技术

对于机器人相关的应用，我们需要对三维空间进行感知，要知道物体在三维空间中的定位，这样才能适应一些如抓取、避障等任务。以抓取任务为例，计算机视觉提供一个空间中的点，机器人手臂通过路径规划算法朝着这个点去抓，这样即可完成一般的抓取任务。

随着深度学习算法的广泛应用，目标检测技术在工业和学术上都有广泛的应用。相关技术中，对于三维数据，有多种表达格式，如点云、网格、体素、深度图等，它们的拓扑结构相对较差，不易获取邻域信息，所以目标检测任务在三维数据上的应用不够成熟且对三维图像处理的算法本身局限性高于对二维图像的处理算法，然而二维图像不包含深度信息，如不考虑算法的影响，使用二维图像做目标检测来估计抓取点的准确率是低于使用三维数据做目标检测的。

发明内容

本公开的目的是提供一种物体抓取点的视觉定位方法、装置、存储介质及电子设备，该方法用于解决对三维图像处理的算法局限性较高、使用二维图像做目标检测准确率较低的问题。

为了实现上述目的，本公开第一方面提供一种物体抓取点的视觉定位方法，所述方法包括：

通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；

将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；

根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；

将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。

可选地，所述抓取点定位模型的样本集是通过如下方式获得的：

获取样本物体的三原色图像以及对应所述三原色图像的深度图像；

根据所述深度图像以及拍摄所述深度图像的相机的内参得到三维点云，并将所述三维点云与模型库中的标准模型配准得到抓取点；

通过投影变换将所述抓取点投影到所述三原色图像上，得到带有投影点标注的所述三原色图像，其中，所述抓取点定位模型样本集包括带有投影点标注的所述三原色图像。

可选地，所述双目相机的参数包括所述第一子相机的第一内部参数、所述第二子相机的第二内部参数以及所述第一子相机与所述第二子相机之间的外部参数，所述根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，包括：

根据所述第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；