[发明专利]基于视觉和主动交互的包装箱分割错误的检测与矫正方法

说明书

本发明属于物流技术领域，公开了一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法；基于目标检测模型结果的区域提取；基于二维视觉算法的疑似错误分割检测；基于主动交互式策略的错误分割判定；错误分割的矫正及正确抓取位置计算；基于二维视觉算法，对目标检测模型预测的结果可能出现的欠分割和过分割问题进行预判，引导机器人的抓手对目标进行试抓取，同时追踪箱体的大小和位置变化，检测对比是否与先验的分割结果吻合，如若吻合则继续完成对目标的抓取，否则实施对错误分割的矫正。本发明基于视觉的交互式策略能够对分割错误的包装箱进行有效地矫正，避免包装箱摔毁的危险，极大地提高机器人对包装箱准确抓取的鲁棒性。

技术领域

本发明属于物流技术领域，尤其涉及基于视觉和主动交互的包装箱分割错误的检测与矫正方法。

背景技术

目前，业内常用的现有技术是这样的：

在现代物流行业中，包装箱的拆跺分拣是一项繁重而重复的工作。不少机器人公司试图用机器人取代人完成这一部分任务。由机器人替代人来进行拆跺分拣的首要问题在于：如何对密集的包装箱进行准确的分割和识别，从而引导机器人进行精确地抓取。实际中包装箱的尺寸变化范围很大，摆放的角度和姿态不定，包装箱之间间隙很小，这些因素导致对包装箱的分割失败率很高。而现有的对包装箱最先进的分割和识别方法，是基于深度学习的目标检测模型。目标检测模型通过海量数据的训练，具有对包装箱强大的识别和分割能力。尽管目前最好的目标检测模型针对包装箱的拆跺分拣问题有着很不错的效果，但在实际中依然存在两个问题：一是箱子上纹理图案出现贯穿箱体的分割线时，容易导致网络预测的过分割现象，即将一个箱子识别成多个箱子；二是箱子之间摆放密集，箱体之间间隙过小时，会使得箱子彼此分界不明，容易导致网络预测的欠分割现象，即将多个箱子识别成一个箱子。包装箱的过分割和欠分割问题都会导致机器人的抓取失败，严重时甚至可能会导致货物的摔毁。

综上所述，现有技术存在的问题是：

现有技术中箱子上纹理图案出现贯穿箱体的分割线时，容易导致网络预测的过分割现象，即将一个箱子识别成多个箱子；箱子之间摆放密集，箱体之间间隙过小时，会使得箱子彼此分界不明，容易导致网络预测的欠分割现象，即将多个箱子识别成一个箱子。包装箱的过分割和欠分割问题都会导致机器人的抓取失败，严重时甚至可能会导致货物的摔毁。

解决上述技术问题的难度和意义：

难度：物流包装箱拆跺分拣场景比较复杂，其物品过于密集，往往是几十个箱子紧密堆叠，区分度较低；箱子纹理图案千差万别,纹理和箱子边缘容易混淆，难以辨识。以上因素导致对拆跺场景的箱子准确分割难度很大，失败率较高。意义：基于深度学习的箱子分割结果存在的主要问题为箱子的欠分割和过分割，解决这两个问题能够为箱子准确分割提供有力保证，也是机器人精确抓取的基础，能够为物流的自动装卸技术提供基本保障。

发明内容

针对现有技术存在的问题，本发明提供了基于视觉和主动交互的包装箱分割错误的检测与矫正方法。

本发明是这样实现的，基于视觉和主动交互的包装箱分割错误的检测与矫正方法，具体包括以下步骤：

步骤一：基于目标检测模型结果的区域提取；根据目标检测模型的预测得到对应包装箱的掩码结果，取出对应的图片像素区域；将对应的掩码区域转化成三维点云；采用随机抽样一致算法对包装箱的抓取平面进行提取，将属于平面的局内点作为最终有效点集，采用计算点集的最小面积包围矩形的算法，估算出包装箱抓取顶面的矩形边界；

步骤二：基于二维视觉算法的疑似错误分割检测：根据已经提取出包装箱抓取面矩形包围框，将对应的包装箱从RGB图像中分割出来，进行疑似错误分割检测；

步骤三：基于主动交互式策略的错误分割判定：采用一种机器人主动交互式的方式，对疑似错误的分割进行逐一认定；