[发明专利]一种基于深度学习的3D库位状态检测方法及系统

说明书

本发明提供了一种基于深度学习的3D库位状态检测方法及系统，其中方法步骤包括：S1获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子；S2依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；S3获取实际库位点云数据作为更新后的神经网络输入，获取库位状态识别信息作为识别结果。籍此将点云技术与深度学习技术相结合，以实现库位中目标货物种类的识别。

技术领域

本发明涉及计算机视觉技术，尤其涉及一种基于深度学习的3D库位状态检测方法及系统。

背景技术

伴随着物流行业的发展，高效率的物流周转和仓储管理需求和有限的场地约束引入对仓库内堆放货物精准管理的迫切需求。同时智能化工厂推动机器换人的技术更新，也需要一个智能化的仓库管理系统为指引机器人进行货物的出入库。

传统的库位管理在需要准确知道物资存放是否在指定的库位时，需要将仓库划分为几个大的区域；通过将相同货物堆放在同一区域来方便叉车司机进行取放货。这种拿空间换效率的方式，在当前城市化进程不断发展导致仓库空间成本急剧增加和当前高吞吐量的物流需求双重因素影响下，就显得不再适用。

因此如果不同货物可以共用一片库位，并有一种库位检测方案可以准确的检测到库位内货物类型数量、堆叠顺序、摆放方位和或栈板位置，那么就可以很好的解决货物混合存放的问题。

一方面，现有深度学习以卷积神经网络为代表，在2D图像数据的感知识别应用方面获得了巨大的成功，目前在自动驾驶等领域做车辆、行人和车道线的识别有着广泛的应用。特别是对高度规则化的图像数据，卷积操作能够有效的提取图像中蕴含的特征，然后利用神经网络的特征分析推断，能够准确高效的识别出图像中的物体。

因此通过在库位场景内安装监控相机来实时检测库位内货物的动态是一个比较有效的库位检测方法。然而，由于2D图像缺少尺度信息，这将导致很难从图像识别结果中提取出物体所在的空间位置和姿态。因此目前该项技术方案多用于库位的有无检测，不太适用货物层高、朝向和栈板高度等含有尺度信息的识别。

另一方面，激光雷达及3D相机采集到的3D点云数据是拥有简单统一结构的物体空间坐标数据，其能够真实反映物体的尺寸信息和表面结构。传统的处理方法是根据物体外形特征，有针对性的设计一些特征提取方法，根据提取的特征设置过滤条件实现3D场景的目标识别。

然而虽然点云数据中蕴含了物体的空间位姿信息，但其数据不具备结构性，因此无法直接用深度学习中的卷积操作提取特征做目标识别。

发明内容

为此，本发明的主要目的在于提供一种基于深度学习的3D库位状态检测方法及系统，以将点云技术与深度学习技术相结合，至少实现库位中目标货物种类的识别。

为了实现上述目的，根据本发明的一个方面，提供了一种基于深度学习的3D库位状态检测方法，步骤包括：

S1 获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子；

S2依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；

S3获取实际库位点云数据作为更新后的神经网络输入，获取库位状态识别信息作为识别结果。

在可能的优选实施方式中，步骤S1中，货物的顶面及侧面点云数据的分割步骤包括：

S11将库位点云数据样本转换到以库位一角为原点，长、宽、高所在方向对应为X、Y、Z轴的局部坐标系下；

S12利用区域生长算法对库位点云数据样本进行处理，以分割出子类点云；

S13对各子类点云采用RANSAC平面检测方法识别出库位内所有构成平面模型的平面点云；