[发明专利]基于视觉和主动交互的包装箱分割错误的检测与矫正方法

摘要

本发明属于物流技术领域，公开了一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法；基于目标检测模型结果的区域提取；基于二维视觉算法的疑似错误分割检测；基于主动交互式策略的错误分割判定；错误分割的矫正及正确抓取位置计算；基于二维视觉算法，对目标检测模型预测的结果可能出现的欠分割和过分割问题进行预判，引导机器人的抓手对目标进行试抓取，同时追踪箱体的大小和位置变化，检测对比是否与先验的分割结果吻合，如若吻合则继续完成对目标的抓取，否则实施对错误分割的矫正。本发明基于视觉的交互式策略能够对分割错误的包装箱进行有效地矫正，避免包装箱摔毁的危险，极大地提高机器人对包装箱准确抓取的鲁棒性。

主权项

1.一种基于视觉和主动交互的包装箱分割错误的检测与矫正方法，其特征在于，所述基于视觉和主动交互的包装箱分割错误的检测与矫正方法包括以下步骤：步骤一：基于目标检测模型结果的区域提取；根据目标检测模型的预测得到对应包装箱的掩码结果，取出对应的图片像素区域；将对应的掩码区域转化成三维点云；采用随机抽样一致算法对包装箱的抓取平面进行提取，将属于平面的局内点作为最终有效点集，采用计算点集的最小面积包围矩形的算法，估算出包装箱抓取顶面的矩形边界；步骤二：基于二维视觉算法的疑似错误分割检测：根据已经提取出包装箱抓取面矩形包围框，将对应的包装箱从RGB图像中分割出来，进行疑似错误分割检测；步骤三：基于主动交互式策略的错误分割判定：采用机器人主动交互式的方式，对疑似错误的分割进行逐一认定；步骤四：错误分割的矫正及正确抓取位置计算：在机器人对疑似错误箱体进行移动之后，通过二次拍照检测，将之前的错误分割进行矫正；矫正后采用对抓取点估计的方法重新计算包装的抓取点位置以及姿态。