[发明专利]装卸货的检测方法及装置

说明书

本申请提供一种装卸货的检测方法及装置，该装卸货的检测方法包括：获取装卸货区域的第一三维点云数据和第二三维点云数据；分别将第一三维点云数据和第二三维点云数据转换为第一二维图像和第二二维图像，其中，第一二维图像和第二二维图像中包含深度值；基于第一二维图像和第二二维图像上的深度值确定第一二维图像相对第二二维图像的变化区域；基于变化区域上的深度变化信息检测装卸货区域的装卸货状态。本申请一方面能够利用二维图像检测的准确度，能够更准确识别变化区域，另一方面能够利用三维点云的深度数据进行识别，能够更准确的识别装卸货状态，从而提高装卸货状态检测的准确率。

技术领域

本申请主要涉及图像处理技术领域，具体涉及一种装卸货的检测方法及装置。

背景技术

目前，为了确定装卸货区域的装卸货状态，主要是基于深度学习的2D检测算法以及基于深度学习的3D检测算法。基于深度学习的2D检测算法主要通过2D摄像机，例如广角镜头或者鱼眼镜头对需要检测的区域进行拍摄，在获取装卸货的过程中，通过使用深度学习算法检测被抽取包裹的区域，从而对整个包裹抽取流程进行检测。基于深度学习的3D检测算法主要是通过3D成像设备，例如激光雷达，RGBD相机等，对需要检测的区域进行建模，在包裹抽取的过程中，通过3D深度学习技术检测被抽取包裹的区域，从而实现对整个包裹抽取流程的检测。对于基于深度学习的2D检测算法，其通过2D成像设备对需要检测的区域进行拍摄。然后通过深度学习技术，比如检测算法或者分割算法进行检测。但是经过前期工程调研发现，该工业场景下包裹的材质非常相似，并且有效数据稀缺，很不利于深度网络的训练以及调参。并且由于2D图像缺少画面中的深度距离信息，因此不利于对包裹位置变动进行检测。对于基于深度学习的3D检测算法，其通过3D成像设备例如激光雷达，深度相机等，结合深度学习算法对画面中实际物体变动区域进行检测。但是同样在工程调研中发现，3D成像设备成像质量极易受到工程环境的影响，例如灰尘，震动等。因此采集的点云是具有较大噪声的。无论2D检测算法和3D检测算法都存在局限性，导致装卸货检测准确度较低。

也即，现有技术中装卸货的检测方法准确度较低。

发明内容

本申请提供一种装卸货的检测方法及装置，旨在解决现有技术中装卸货的检测方法准确度较低的问题。

第一方面，本申请提供一种装卸货的检测方法，所述装卸货的检测方法包括：

获取装卸货区域的第一三维点云数据和第二三维点云数据；

分别将所述第一三维点云数据和所述第二三维点云数据转换为第一二维图像和第二二维图像，其中，所述第一二维图像和所述第二二维图像中包含深度值；

基于所述第一二维图像和所述第二二维图像上的深度值确定所述第一二维图像相对所述第二二维图像的变化区域；

基于所述变化区域上的深度变化信息检测所述装卸货区域的装卸货状态。

可选地，所述获取装卸货区域的第一三维点云数据和第二三维点云数据，包括：

当检测到装卸货设备发送的进入装卸货区域进行装卸货的装卸货开始指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第一三维点云数据；

当检测到装卸货设备发送的离开装卸货区域的装卸货结束指令时，控制三维成像设备对所述装卸货区域进行点云采集，得到所述第二三维点云数据。

可选地，所述分别将所述第一三维点云数据和所述第二三维点云数据转换为第一二维图像和第二二维图像，包括：

分别将第一三维点云数据和第二三维点云数据投射至预设平面，得到第一投影图像和第二投影图像，其中，预设平面为垂直于所述三维成像设备的光轴的平面；

基于所述第一投影图像和所述第二投影图像确定所述第一二维图像和所述第二二维图像。