[发明专利]基于机器视觉的堆垛信息实时识别方法及系统

权利要求书

1.基于机器视觉的堆垛信息实时识别方法，其特征是，包括：

获取由两个摄像头同步实时采集的移动叉车上堆垛货物的图像；其中，第一摄像头以顶视角度安装在门式框架的正上方居中位置；第二摄像头以侧视角度安装在门式框架的侧面；所述图像，包括：货物的顶面图像和货物的侧面图像；所述图像，包括：二维图像和深度图像；

从若干幅货物的顶面图像中，选取堆垛区域处于顶面图像最佳位置的最佳顶面图像；从若干幅获取的侧面图像中，选取与所述最佳顶面图像相同时刻拍摄的侧面图像作为最佳侧面图像；

对最佳顶面图像和最佳侧面图像进行图像分割处理，得到货物在叉车上堆垛的状态；根据货物在叉车上堆垛的状态，计算出货物的箱子尺寸，并计算出箱子的数量。

2.如权利要求1所述的基于机器视觉的堆垛信息实时识别方法，其特征是，所述方法还包括：

根据货物的坐标运动轨迹，判断出堆垛的进出仓状态。

3.如权利要求1所述的基于机器视觉的堆垛信息实时识别方法，其特征是，从若干幅货物的顶面图像中，选取堆垛区域处于顶面图像最佳位置的最佳顶面图像；其中，最佳位置的确定方式为：

采用训练后的图像识别网络对顶面二维图像中的堆垛区域进行实时识别；

选择顶面图像的堆垛区域中心位置，距离顶面图像中心位置最近的图像，作为最佳顶面图像。

4.如权利要求1所述的基于机器视觉的堆垛信息实时识别方法，其特征是，对最佳顶面图像和最佳侧面图像进行图像分割处理，得到货物在叉车上堆垛的状态；具体包括：

采用训练后的图像分割网络，对最佳顶面图像和最佳侧面图像进行图像分割处理，得到货物在叉车上不同堆垛状态的图像；

其中，货物在叉车上堆垛的状态，包括：横放类、纵放类和平放类。

5.如权利要求1所述的基于机器视觉的堆垛信息实时识别方法，其特征是，根据货物在叉车上堆垛的状态，计算出货物的箱子尺寸；其中，如果货物在叉车上堆垛的状态为横放类，则箱子尺寸的计算过程包括：

计算顶面分割图像中的横放类区域Y轴方向尺寸；

计算侧面分割图像中的横放类区域Y轴方向尺寸；

顶面分割图中横放类的Y轴方向尺寸是瓷砖的长或宽，侧面横放类区域在Y轴方向尺寸是瓷砖的宽或长；

得出瓷砖的长和宽的尺寸后，通过预设的箱子尺寸表，查表得出箱子的高度。

6.如权利要求1所述的基于机器视觉的堆垛信息实时识别方法，其特征是，根据货物在叉车上堆垛的状态，计算出货物的箱子尺寸；其中，如果货物在叉车上堆垛的状态为纵放类，则箱子尺寸的计算过程包括：

找到箱子堆垛区域的最小外接矩形；针对最小外接矩形的两条边分别计算长度；

对其中一对平行的两条边分别取N个等距的点；并将第一条边的点与对应第二条边的点进行两两连接，得到N条线；

基于深度图像，计算N条线的长度；

针对这N条线，分别去掉最长和最短的2个，求剩下N-4条长度的平均值，将平均值作为平行线之间的距离，是为矩形的一条边长；

计算矩形的另一条边长。

7.如权利要求1所述的基于机器视觉的堆垛信息实时识别方法，其特征是，计算出箱子的数量；具体包括：

计算顶面分割图中横放类区域箱子数量；

计算顶面分割图中纵放类区域箱子数量；

计算顶面分割图中平放类区域箱子数量；

相加以上三个步骤的箱子数量得到堆垛中箱子数量。