[发明专利]点云缺失处理方法、装置和存储介质

权利要求书

1.一种点云缺失处理方法，包括：

提取第一目标的图像特征；

在特征库中选择与所述第一目标的图像特征最匹配的图像特征，其中，所述特征库中包括至少一个目标的图像特征和点云数据；以及

利用与所述第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿所述第一目标的点云数据。

2.根据权利要求1所述的点云缺失处理方法，其中，补偿所述第一目标的点云数据包括：

计算所述第一目标和所述第二目标之间的3D转换矩阵；以及

根据所述3D转换矩阵，利用所述第二目标的点云数据补偿所述第一目标的点云数据。

3.根据权利要求2所述的点云缺失处理方法，其中，利用所述第二目标的点云数据补偿所述第一目标的点云数据包括：

将所述第二目标的点云数据转换为目标点云；以及

将所述第一目标的点云数据与所述目标点云融合。

4.根据权利要求2所述的点云缺失处理方法，其中，计算所述第一目标和所述第二目标之间的3D转换矩阵包括：

根据所述第一目标的像素坐标和所述第二目标的像素坐标，利用2D相机内参矩阵，计算所述第一目标和所述第二目标之间的本质矩阵；以及

利用所述本质矩阵，计算出所述第一目标和所述第二目标之间的3D转换矩阵。

5.根据权利要求1至4任一所述的点云缺失处理方法，还包括：

获取包含所述第二目标的二维图像和点云图像；

在所述二维图像中提取所述第二目标的图像特征；

利用2D相机和3D相机之间的标定关系，在所述点云图像中确定所述第二目标的点云数据；以及

将所述第二目标的图像特征和点云数据保存在所述特征库中。

6.根据权利要求1至4任一所述的点云缺失处理方法，还包括：

利用所述第一目标的补偿后的点云数据，确定所述第一目标的拣选位姿；以及

将所述第一目标的拣选位姿发送至机器人，以引导所述机器人执行拣选作业。

7.根据权利要求5所述的点云缺失处理方法，其中，

在机器人拣选过程中，建立所述特征库。

8.一种点云缺失处理装置，包括：

特征提取单元，被配置为提取第一目标的图像特征；

特征匹配单元，被配置为在特征库中选择与所述第一目标的图像特征最匹配的图像特征，其中，所述特征库中包括至少一个目标的图像特征和点云数据；以及

点云补偿单元，被配置为利用与所述第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿所述第一目标的点云数据。

9.根据权利要求8所述的点云缺失处理装置，其中，

所述点云补偿单元被配置为计算所述第一目标和所述第二目标之间的3D转换矩阵；以及根据所述3D转换矩阵，利用所述第二目标的点云数据补偿所述第一目标的点云数据。

10.根据权利要求9所述的点云缺失处理装置，其中，

所述点云补偿单元被配置为根据所述3D转换矩阵，将所述第二目标的点云数据转换为目标点云；以及将所述第一目标的点云数据与所述目标点云融合。

11.根据权利要求8至10任一所述的点云缺失处理装置，还包括：

图像获取单元，被配置为获取包含所述第二目标的二维图像和点云图像；

特征提取单元，被配置为在所述二维图像中提取所述第二目标的图像特征；

点云确定单元，被配置为利用2D相机和3D相机之间的标定关系，在所述点云图像中确定所述第二目标的点云数据；以及

数据保存单元，被配置为将所述第二目标的图像特征和点云数据保存在所述特征库中。