[发明专利]船舶远程驾驶行为状态监测预警方法、系统及存储介质

说明书

本发明公开了一种船舶远程驾驶行为状态监测预警方法、系统及存储介质，可广泛应用于船舶技术领域。本发明通过实时采集船舶驾驶舱内船员的视频信息，提高视频信息的时效性，并采用目标检测算法构建面部特征预测模型，将实时采集的视频信息输入所述面部特征预测模型，得到船员的面部特征信息、眼部特征信息和头部姿态信息，同时根据所述视频信息提取船员的肢体位置信息，接着根据肢体位置信息、面部特征信息、眼部特征信息或头部姿态信息分析所述船员的驾驶状态，从而降低对监管人员的依赖度，同时提高驾驶状态分析维度，以有效提高船舶驾驶行为监测的准确度。

技术领域

本发明涉及船舶技术领域，尤其是一种船舶远程驾驶行为状态监测预警方法、系统及存储介质。

背景技术

相关技术中，随着船舶通信导航、船体结构设计、动力推进系统等技术的发展应用，近年来由于船舶故障导致的水上交通事故减少，海员的驾驶行为和生理特性已成为大型海难事故的主要致因，驾驶舱视频监控的方式被逐步应用于船舶的运营管理和事故调查，以避免由于人因失误导致的搁浅、碰撞等事故，保障航行安全。但是，目前仍依赖于监管人员的主观评价，缺乏对于驾驶行为特性的机理描述，存在异常驾驶行为状态难于辨识、监测预警覆盖范围小、评判维度单一等应用瓶颈，从而导致船舶驾驶行为监测的准确度较低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种船舶远程驾驶行为状态监测预警方法、系统及存储介质，能够有效提高船舶驾驶行为监测的准确度。

一方面，本发明实施例提供了一种船舶远程驾驶行为状态监测预警方法，包括以下步骤：

实时采集船舶驾驶舱内船员的视频信息；

根据所述视频信息提取船员的肢体位置信息；

采用目标检测算法构建面部特征预测模型；

将所述视频信息输入所述面部特征预测模型，得到船员的面部特征信息、眼部特征信息和头部姿态信息；

根据所述肢体位置信息、所述面部特征信息、所述眼部特征信息或所述头部姿态信息分析所述船员的驾驶状态；

确定所述驾驶状态包括异常驾驶行为状态，生成预警信息。

在一些实施例中，所述采用目标检测算法构建面部特征预测模型，包括：

将VGG网络架构中的FC6层和FC7层转化为卷积层，并删除VGG网络架构中的所有Dropout层和FC8层，增加Conv6卷积层、Conv7卷积层、Conv8卷积层和Conv9卷积层，得到SDD神经网络模型；

通过所述SDD神经网络模型的主干网络获取预设卷积的有效特征层；

对每个所述有效特征层进行处理，得到每个网格点上所有预测框的变化信息和所有预测对应的种类；

根据所述预测框的中心、宽度和高度，对每个预测框进行得分排序和非极大值抑制筛选，得到面部特征预测模型。

在一些实施例中，通过模型损失函数调节所述面部特征预测模型，所述模型损失函数包括置信损失函数和定位损失函数；

所述置信损失函数用于表示所述面部特征信息、所述眼部特征信息和所述头部姿态信息的分类损失；

所述定位损失函数用于表示目标框和预测框之间的变换损失。

在一些实施例中，在所述将所述视频信息输入所述面部特征预测模型之前，所述方法还包括以下步骤：

提取所述视频内的实时图像；

通过压缩法降低所述实时图像的局部阴影和光照变化，并对所述实时图像进行归一化；

遍历归一化后的所述实时图像，计算归一化后的所述实时图像上每个像素点在水平方向和垂直方向的像素值，并根据所述像素值计算所述像素点的梯度值和梯度方向。

在一些实施例中，所述将所述视频信息输入所述面部特征预测模型，得到船员的面部特征信息，包括：

将归一化后的所述实时图像输入所述面部特征预测模型；