[发明专利]一种基于深度学习的3D库位状态检测方法及系统

权利要求书

1.一种基于深度学习的3D库位状态检测方法，其特征在于步骤包括：

S1 获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子；

S2依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；

S3获取实际库位点云数据作为更新后的神经网络输入，获取库位状态识别信息作为识别结果。

2.根据权利要求1所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S1中，货物的顶面及侧面点云数据的分割步骤包括：

S11将库位点云数据样本转换到以库位一角为原点，长、宽、高所在方向对应为X、Y、Z轴的局部坐标系下；

S12利用区域生长算法对库位点云数据样本进行处理，以分割出子类点云；

S13对各子类点云采用RANSAC平面检测方法识别出库位内所有构成平面模型的平面点云；

S14 将平面点云根据预设条件进行聚合后，筛选出平面点云法向与局部坐标系Z轴夹角处于预设角度的平面点云作为货物的顶面点云；筛选出平面点云法向与局部坐标系Y轴夹角处于预设角度的平面点云作为货物的侧面点云。

3.根据权利要求2所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S14还包括：

当存在多个平面点云满足条件时，取Z值最大的平面点云作为顶面点云；

当存在多个平面点云满足条件时，取Y值最小的平面点云作为侧面点云。

4.根据权利要求1所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S1中，提取特征信息建立侧面及顶面特征描述子的步骤包括：

S15分别对侧面和顶面点云以等距间隔提取面宽度、点密度及邻域点间隔中的至少一种作为特征信息，以各自构成一个多维度的特征描述子。

5.根据权利要求4所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S15中，顶面点云特征描述子的构建步骤包括：

S151将顶面点云沿局部坐标系X、Y轴方向覆盖库位最大宽度及长度范围进行等距间隔特征采样，记统计个数为CN_x、CN_y；

S152 对Y轴上各个等距间隔区间内提取出的个点，以进行下述特征值计算：

计算区间内点云Z轴方向的平均值

计算区间内点云X轴方向点云长度

；

计算区间内点云Z轴方向点云长度

；

计算区间内点云个数；

计算区间内平均点间距；

直至获得沿Y轴方向提取的特征值个数CF_y=CN_y*5；

S153 以步骤152相仿方式进行X轴方向的特征值计算，直至获得沿X轴方向提取的特征值个数；

S154 计算顶面点云特征描述子行。