[发明专利]大场景下集装箱开关门状态识别方法

说明书

本发明提出了一种大场景下集装箱开关门状态识别方法，包括以下步骤：获取到图像后先对图像进行大小调整，然后输入到预训练的ResNet模型提取网络中提取集装箱开门和关门的特征，输出的是图像上集装箱开门或关门的特征图，对输出特征图使用候选区域网络进行区域选择，得到所有可能是集装箱开门和关门的区域，接着使用区域回归对重叠区域进行合并，得到每个区域中是开门状态还是关门状态。通过深度学习神经网络技术，使用计算机视觉检测集装箱开关门的状态，克服了传统的通过硬件识别误报率高，硬件已损坏的缺陷，提高了大场景下的集装箱开关门状态的识别率。

技术领域

本发明涉及集装箱识别技术领域，特别涉及一种大场景下集装箱开关门状态识别方法。

背景技术

集装箱作为国际运输业的重要组成部分，其应用范围和数量都在大幅度增加，目前国内的集装箱运输呈现出了飞跃式发展，货物量的大幅度增加给集装箱的追踪和自动化装卸提出了更高标准的要求。使得智能集装箱识别系统的研究和开发成为迫切需求。

目前的集装箱开关门状态识别都是基于硬件设备实现的，例如，在卡口设置摄像机，通过摄像机采集集装箱的图像信息，实现了图像的信息采集，进而对图像进行特征提取，获取集装箱箱号；该系统只能近距离提取集装箱的图像信息；无法实现在大场景下获取集装箱的箱号。

目前在大场景下集装箱开关门状态识别技术都是在传统算法的基础上研发的，传统算法在复杂场景下的鲁棒性差；所谓鲁棒性是指在异常和危险情况下系统生存的关键。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。传统算法对于大场景下获取的图像，按照像素点进行分割，按照数字和字符进行分割后，直接识别为集装箱开关门状态，所以在大场景下的集装箱开关门状态识别存在较大的误差。并且需要大量计算。

发明内容

本发明的目的旨在至少解决所述的技术缺陷之一。

为此，本发明的一个目的在于提出一种大场景下集装箱开关门状态识别方法；通过深度学习神经网络技术，克服了传统算法存在的缺陷，提高了大场景下的集装箱开关门状态识别率。

为了实现上述目的，本发明一方面的实施例提供一种大场景下集装箱开关门状态识别方法，包括以下步骤：S1，获取海关相关场所监控摄像机的实时视频数据；

S2，对获取到的图像进行预处理，提取图像中的第一图像特征；利用经过训练后的ResNet残差神经网络模型，对图像进行目标检测；提取集装箱的开门特征和关门特征；按照获取的集装箱的开门特征和关门特征，对应提取集装箱的开门特征图和关门特征图；

S3，输出集装箱的开门特征图和关门特征图，对输出的开门特征图和关门特征图分别使用候选区域网络分别进行区域选择；使用区域回归算法对重叠区域进行合并；

S4，对合并的区域进行分类，分别得到该场景下集装箱的开关门状态结果。

优选的，在S2中，采用ResNet残差神经网络模型进行目标检测时包括以下步骤：

S201、将获取的图像分割为多个区域，利用目标识别算法去识别各个区域，判断每个区域中是否包含第一图像特征以及该区域包含该第一图像特征的概率；

S202、对包含第一图像特征的区域继续提取集装箱的开门特征和关门特征。

在上述任意一项实施例中优选的，在S3中，在使用候选区域网络进行区域选择时，根据图像的相似程度进行区域选择，所述相似程度的参考因素包括颜色、纹理、尺寸、形状；两个区域之间的最终相似度为上述参考因素的线性组合。

在上述任意一项实施例中优选的，还包括根据所述相似程度的参考因素分别进行相似性的描述子计算，

颜色相似性：需要计算25-bin的颜色直方图，然后每一个颜色通道的直方图拼接在一起，形成颜色描述子。