[发明专利]点云缺失处理方法、装置和存储介质

说明书

本公开提供了一种点云缺失处理方法、装置和存储介质，涉及数据处理领域。该方法包括：提取第一目标的图像特征；在特征库中选择与第一目标的图像特征最匹配的图像特征，其中，特征库中包括至少一个目标的图像特征和点云数据；以及利用与第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿第一目标的点云数据。本公开提高了补偿缺失点云数据的鲁棒性和普适性，由于比较容易采集其他物体的点云数据，因此，降低了数据采集成本，另外，本公开对运行环境要求较低，比起通用算法有更高的实用性能。

技术领域

本公开涉及数据处理领域，尤其涉及一种点云缺失处理方法、装置和存储介质。

背景技术

当下主流3D相机获取的点云存在缺失，基本是普遍现象。例如，当商品包装材质反光较强时，或者，在相机直射的位置附近，或者，在环境光较强的位置，容易导致点云缺失。

针对上述点云缺失情形，相关技术中，一种方法是调节3D相机的工作参数，或采用传统的滤波类算法对点云处理，尽量补偿缺失点云；另一种方法是采用深度学习技术对3D相机的原始点云进行处理，补齐缺失。

发明内容

本公开要解决的一个技术问题是，提供一种点云缺失处理方法、装置和存储介质，能够提高补偿缺失点云数据的简便性和鲁棒性。

根据本公开一方面，提出一种点云缺失处理方法，包括：提取第一目标的图像特征；在特征库中选择与第一目标的图像特征最匹配的图像特征，其中，特征库中包括至少一个目标的图像特征和点云数据；以及利用与第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿第一目标的点云数据。

在一些实施例中，补偿第一目标的点云数据包括：计算第一目标和第二目标之间的3D转换矩阵；以及根据3D转换矩阵，利用第二目标的点云数据补偿第一目标的点云数据。

在一些实施例中，利用第二目标的点云数据补偿第一目标的点云数据包括：将第二目标的点云数据转换为目标点云；以及将第一目标的点云数据与目标点云融合。

在一些实施例中，计算第一目标和第二目标之间的3D转换矩阵包括：根据第一目标的像素坐标和第二目标的像素坐标，利用2D相机内参矩阵，计算第一目标和第二目标之间的本质矩阵；以及利用本质矩阵，计算出第一目标和第二目标之间的3D转换矩阵。

在一些实施例中，获取包含第二目标的二维图像和点云图像；在二维图像中提取第二目标的图像特征；利用2D相机和3D相机之间的标定关系，在点云图像中确定第二目标的点云数据；以及将第二目标的图像特征和点云数据保存在特征库中。

在一些实施例中，利用第一目标的补偿后的点云数据，确定第一目标的拣选位姿；以及将第一目标的拣选位姿发送至机器人，以引导机器人执行拣选作业。

在一些实施例中，在机器人拣选过程中，建立特征库。

根据本公开的另一方面，还提出一种点云缺失处理装置，包括：特征提取单元，被配置为提取第一目标的图像特征；特征匹配单元，被配置为在特征库中选择与第一目标的图像特征最匹配的图像特征，其中，特征库中包括至少一个目标的图像特征和点云数据；以及点云补偿单元，被配置为利用与第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿第一目标的点云数据。

在一些实施例中，点云补偿单元被配置为计算第一目标和第二目标之间的3D转换矩阵；以及根据3D转换矩阵，利用第二目标的点云数据补偿第一目标的点云数据。

在一些实施例中，点云补偿单元被配置为根据3D转换矩阵，将第二目标的点云数据转换为目标点云；以及将第一目标的点云数据与目标点云融合。