[发明专利]一种起重机作业过程中箱孔定位方法

说明书

本发明公开了一种起重机作业过程中箱孔定位方法，包括：（1）拍摄装置在工作现场拍摄带有集装箱的照片或者视频；（2）从拍摄的图片或者视频中对集装箱的箱孔进行标注；（3）将标注样本数据根据其数量进行分类保存；（4）将标注样本数据转换成用于RefineDet模型训练的数据格式。通过上述方式，工业相机等拍摄装置在作业现场拍摄带有集装箱的图片或者视频，将标注样品图片保存为模型训练用的数据分类与格式，使用两个同步串联模块对采样图片进行训练，大大提高了集装箱箱孔的精度，在码头半自动化作业中，精确定位箱孔位置进而精确定位集装箱的实际位置，来辅助实现集卡引导、从卡车与堆场精确取箱、放箱等作业。

技术领域

本发明涉及视觉检测箱孔定位方法技术领域，特别是涉及一种起重机作业过程中箱孔定位方法。

背景技术

在集装箱码头堆场时，通常起重机类机械装置将集装箱叠放方式进行存放，有时叠放层数可达几层楼的高度，码头作业时装卸设备在叠放集装箱时需要将上层集装箱与下层集装箱对齐，堆放集装箱的精度较低时，可能会造成集装箱倒塌而引发重大事故，所以要保证叠放集装箱时对齐叠放，叠放要求在误差范围内；另外，用于带箱集卡的引导，即集装箱卡车开到固定位置后停车，从集卡或者箱区抓取箱子也需要实时提供集装箱的实际位置。

发明内容

本发明主要解决的技术问题是提供一种起重机作业过程中箱孔定位方法。

为解决上述技术问题，本发明采用的一个技术方案是：

提供一种起重机作业过程中箱孔定位方法，包括以下步骤：

（1）拍摄装置在工作现场拍摄带有集装箱的照片或者视频，拍摄装置安装在起重机的吊具上，在设定高度拍摄带有集装箱的照片或者视频；

（2）从拍摄的图片或者视频中对集装箱的箱孔进行标注，将标注样本数据保存为xml格式文件；

（3）将标注样本数据根据其数量进行分类保存，当数据量小于1000时，分类为训练数据和测试数据，当数据量大于或者等于1000时，分类为训练数据、验证数据和测试数据；

（4）将标注样本数据与非标注样本数据保存为用于RefineDet模型训练的数据格式，包括三个文本文件和两个目录文件：

train.txt：训练数据，

test.txt：测试数据，

class.names：标注样本数据的类型名称，

Labels：每个标注样本数据的位置信息及分类信息，

JPEGImages：全部标注样本数据的图片，

RefineDet模型为：

其中，是箱孔的坐标，为前景或者背景的二分类损失，为定位回归损失，为前景多分类的损失，是ARM中正样本的锚点的数目，是ODM中正样本的锚点的数目，是训练批次中锚点的序号，是第个锚点的真实类别标记，第个锚点的真实位置和尺寸，是第个锚点预测为目标的置信度，是ARM细化后预测的第个锚点的坐标，是ODM中预测的边界框的物体类别，是ODM中预测的边界框的坐标，表示第个锚点为正样本时输出1、为负样本时输出0；

（5）通过训练好的箱孔定位模型，对集装箱箱孔进行实时定位，集装箱卡车装载集装箱停车在设定位置，起重机的吊具根据实时定位的箱孔引导吊具抓取集装箱的箱孔，将集装箱搬运至指定位置叠加放置。

在本发明一个较佳实施例中，所述拍摄装置包括工业相机。

在本发明一个较佳实施例中，所述拍摄装置位于集装箱的上方拍摄集装箱的俯视图。

在本发明一个较佳实施例中，所述训练数据占样本总数的80%~90%。