[发明专利]一种装卸垛口状态模式识别方法

说明书

本发明公开了一种装卸垛口状态模式识别方法，首先构建垛口状态数据集，根据摄像头位置，垛口状态将训练集分为五类并标记标签。其次构建ResNet50网络模型，增加ReLu层、dropout层、logSoftmax回归层适应数据集，从而进行样本训练。模型收敛后，构建垛口状态模式识别系统，利用RTSP协议将视频流输入该识别系统，完成垛口状态的初次识别，并通过中值滤波算法去噪提升了识别的准确率，最终准确率可达到99％。解决了传统算法因为误判而导致作业时间和作业车次不匹配问题。通过yolov5算法定位车牌区域，同时利用文本检测算法提取目标文本，结合卷积递归神经网络识别车牌信息。最后根据记录的垛口车辆靠台、出台时间和作业时长数据为垛口管理提供依据。本发明实现了各个垛口的状态识别，记录垛口作业状态，能够有效地对异常作业进行反馈，便于管理和复盘。

技术领域

本发明属于图像识别技术领域，特别涉及一种装卸垛口状态模式识别方法。

背景技术

中国邮政集团有限公司寄递“六大改革”部署是当今邮政提速发展的一项重要工作，邮区中心规范化改革是“六大改革”中的重要一环，以邮区中心自动化、智能化来实现高效化、低成本化运行，将邮区中心打造成中国邮政寄递的核心优势则是实现降本增效的必由之路。

邮区中心局是负担陆路干线邮件分拣、封发、经转和发运任务的邮政生产单位。邮区中心局承担着邮件进出口的分拣处理以及运输工作，有效地提高中心局的作业效率，监测生产异常状态是近年来邮政降本增效的一大研究方向。邮区中心局出入车次频繁，装卸垛口较多，仅通过调度中心抽查视频或处理中心人工巡场存在一定局限性，不能实现全方位全时段覆盖。因此通过自动化实现对垛口作业状态判别，降低人工巡场实现24小时全方位覆盖具有深远的意义。

基于特征提取的图像状态识别技术或者基于深度学习模型的图像分类在应用过程中，由于受到垛口环境变换、灯光变换、摄像头视野域的限制在垛口状态识别过程中分类准确率不可达到100％。其局限性在于：

(1)在采样间隔短，数据流大时发生误判将导致在作业时间内的一次作业分割成两次或多次作业或者作业时间不连贯导致无法匹配车次和作业时间。

(2)车辆作业时，同一车次发生推出后又推入进行作业。

(3)装卸垛口空闲时，画面中出现车辆经过、车辆临时靠台停车等。

(4)存在装卸垛口卷帘门拉起时，摄像头视野域被遮挡无法判别状态。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种装卸垛口状态模式识别方法，能够根据连续性序列的特点利用中值滤波改进神经网络模型，使得垛口状态识别达到99％以上的准确率，能够得到作业车辆的精准作业时间，作业车辆靠台、出台时间。

技术方案：为解决上述技术问题，本发明提供一种装卸垛口状态模式识别方法，包括如下步骤：

步骤一：设置采集视频间隔时间1秒/帧，采集视频数据，通过采集的视频数据制作数据集，并对数据集进行预处理；

步骤二：将数据分为训练集、测试集、交叉验证集，构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练；

步骤三：采用英伟达边缘计算盒子作为模型部署容器，通过硬解码技术利用英伟达边缘计算盒子的解码编码芯片实现视频流解析，同时英伟达边缘计算盒子的核心计算能力满足系统算力要求；

步骤四：通过RTSP协议，利用边缘计算盒子进行解码编码，将视频流实时传入训练完成的ResNet50模式识别网络模型中，记录当前时间、垛口ID、识别结果；标记垛口车辆车牌区域，垛口作业人员位置，构建yolo v5算法模型定位图片车牌区域、统计作业人数。构建文本检测算法定位车牌区域，结合卷积递归神经网络完成文字序列的识别，提取车牌信息，并录入数据库；