[发明专利]用于确定挖掘机的铲斗的位姿的方法和装置

说明书

本申请实施例公开了用于确定挖掘机的铲斗的位姿的方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取设置于挖掘机车体的相机采集到的铲斗的图像，所述铲斗的图像包含设置于所述挖掘机的铲斗上的预设标志物；基于所述铲斗的图像，以及预先获取的所述预设标志物的三维特征信息，确定所述相机相对于所述铲斗的位姿信息；将所述相机相对于所述铲斗的位姿信息转换为所述铲斗相对于所述挖掘机车体的位姿信息。该实施方式实现了挖掘机铲斗位姿的精准估算。

技术领域

本申请实施例涉及计算机技术领域，具体涉及挖掘机领域，尤其涉及用于确定挖掘机的铲斗的位姿的方法和装置。

背景技术

无人挖掘机是通过各种传感器感知挖掘操作的对象、规划操作行为并执行操作指令的智能化挖掘设备。无人挖掘机在挖掘物料堆的任务中，需要控制铲斗到土堆的目标区域进行挖掘操作，因此需要精准快速地确定铲斗相对于挖掘机车体的位姿。目前的方案是在挖掘机的大臂、小臂、铲斗等处分别安装角度传感器，依靠传感器读数来确定铲斗的位姿。

发明内容

本申请实施例提出了用于确定挖掘机的铲斗的位姿的方法、装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种用于确定挖掘机的铲斗的位姿的方法，包括：获取设置于挖掘机车体的相机采集到的铲斗的图像，铲斗的图像包含设置于挖掘机的铲斗上的预设标志物；基于铲斗的图像，以及预先获取的预设标志物的三维特征信息，确定相机相对于铲斗的位姿信息；将相机相对于铲斗的位姿信息转换为铲斗相对于挖掘机车体的位姿信息。

在一些实施例中，上述预设标志物的三维特征信息包括预设标志物的特征点的空间位置信息；上述基于铲斗的图像，以及预先获取的预设标志物的三维特征信息，确定相机相对于铲斗的位姿信息，包括：根据预设标志物的特征点的空间位置信息确定预设标志物的特征点的三维坐标；检测铲斗的图像中的预设标志物的特征点，确定预设标志物的特征点在铲斗的图像中的像素坐标；基于预设标志物的特征点的三维坐标和预设标志物的特征点在铲斗的图像中的像素坐标，以及预先获取的相机的内部参数，估算出相机相对于铲斗的位姿信息。

在一些实施例中，上述基于铲斗的图像，以及预先获取的预设标志物的三维特征信息，确定相机相对于铲斗的位姿信息，还包括：基于预设的标志物信息库所包含的标志物信息对铲斗的图像进行匹配，以识别出预设标志物。

在一些实施例中，上述基于预设的标志物信息库所包含的标志物信息对铲斗的图像进行匹配，以识别出预设标志物，包括：获取设置于挖掘机的挖掘臂和铲斗上的角度传感器感应到的角度传感数据；基于角度传感数据确定预设标志物在铲斗的图像中的目标位置范围；在目标位置范围内检测标志物信息，并在预设的标志物信息库中进行匹配，以识别出预设标志物。

在一些实施例中，上述预设标志物包括预设二维码标签，上述预设标志物的特征点包括预设二维码标签的角点。

第二方面，本公开的实施例提供了一种用于确定挖掘机的铲斗的位姿的装置，包括：获取单元，被配置为获取设置于挖掘机车体的相机采集到的铲斗的图像，铲斗的图像包含设置于挖掘机的铲斗上的预设标志物；确定单元，被配置为基于铲斗的图像，以及预先获取的预设标志物的三维特征信息，确定相机相对于铲斗的位姿信息；转换单元，被配置为将相机相对于铲斗的位姿信息转换为铲斗相对于挖掘机车体的位姿信息。

在一些实施例中，上述预设标志物的三维特征信息包括预设标志物的特征点的空间位置信息；上述确定单元进一步被配置为基于铲斗的图像，以及预先获取的预设标志物的三维特征信息，按照如下方式确定相机相对于铲斗的位姿信息：根据预设标志物的特征点的空间位置信息确定预设标志物的特征点的三维坐标；检测铲斗的图像中的预设标志物的特征点，确定预设标志物的特征点在铲斗的图像中的像素坐标；基于预设标志物的特征点的三维坐标和预设标志物的特征点在铲斗的图像中的像素坐标，以及预先获取的相机的内部参数，估算出相机相对于铲斗的位姿信息。