[发明专利]一种装卸垛口状态模式识别方法

权利要求书

1.一种装卸垛口状态模式识别方法，其特征在于，包括如下步骤：

步骤一：设置采集视频间隔时间1秒/帧，采集视频数据，通过采集的视频数据制作数据集，并对数据集进行预处理；

步骤二：将数据分为训练集、测试集、交叉验证集，构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练；

步骤三：采用英伟达边缘计算盒子作为模型部署容器，通过硬解码技术利用英伟达边缘计算盒子的解码编码芯片实现视频流解析，同时英伟达边缘计算盒子的核心计算能力满足系统的是能算法的算力要求；

步骤四：通过RTSP协议，利用边缘计算盒子进行解码编码，将视频流实时传入训练完成的ResNet50模式识别网络模型中，记录当前时间、垛口ID、识别结果；标记垛口车辆车牌区域，垛口作业人员位置，构建yolo v5算法模型定位图片车牌区域、统计作业人数；构建文本检测算法定位车牌区域，结合卷积递归神经网络完成文字序列的识别，提取车牌信息，并录入数据库；

步骤五：基于中值滤波改进ResNet50模式识别网络模型，对垛口状态进行修正；

步骤六：根据时间序列的稳定性，构建状态机滤波方法，对中值滤波去噪后的垛口状态序列进行再次修正；

步骤七：对修正后的结果进行计算，完成垛口车辆靠台、出台时刻、时长、人数的记录，完成垛口状态的模式识别，生成基于时间序列的作业报表。

2.根据权利要求1所述的一种装卸垛口状态模式识别方法，其特征在于，所述步骤一中对数据集进行预处理的步骤如下：

将数据集根据摄像头角度、方位、作业场景的不同，分为两大类：空闲状态和垛口作业状态；所述空闲状态包括摄像头偏低时垛口空闲状态、垛口空闲状态和垛口卷帘门状态；所述垛口作业状态包括垛口作业状态和垛口空载状态。

3.根据权利要求1所述的一种装卸垛口状态模式识别方法，其特征在于，所述步骤二中构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练的具体步骤如下：

步骤2.1：ResNet50模式识别网络模型构建

ResNet50的初始网络是对2048个类别进行分类，输出结果的维度为2048；对网络结构进行调整以适应垛口的状态：增加新的Dropout层以及logSoftmax，于ResNet50网络原结构尾端加入维度为5的全连接层；设共计k＝5个节点输出，则对于第i个节点logSoftmax为：

L_i＝-logo(z_i)

其中L_i为第i个节点输出；

步骤2.2：ResNet50模式识别网络模型训练

将数据集输入到网络中进行训练，在初始阶段先对模型进行多次训练，通过迁移学习快速达到残差收敛，得到具备泛化性的权重；然后利用测试集合进行测试。