[发明专利]一种内河水域异常行为船舶自动识别系统及方法

摘要

本发明公开了一种内河水域异常行为船舶自动识别系统及方法，通过实时获取内河水域船舶通航的AIS报文信息、水文气象部门的环境信息、CCTV视频图像和景深图像，分析船舶异常行为模式类别，建立船舶异常行为样本库；建立深度学习网络模型分析船舶行为，获取船舶异常行为模式和GPS定位信息；在CCTV视频图像中检测出船舶，结合景深图像获取船舶的三维空间信息，获取船舶视频定位信息；将GPS定位信息、视频定位信息、船舶异常行为模式、船舶检测特征融合，进行船舶目标关联，在CCTV视频上自动识别出异常行为船舶。本发明有效解决了在CCTV视频上自动识别异常行为船舶难的问题，识别率高，能对水上交通安全预警，进一步提高了海事监管的智能化水平。

主权项

1.一种内河水域异常行为船舶自动识别方法，采用一种内河水域异常行为船舶自动识别系统；其特征在于：所述系统包括内河交通数据采集子系统、船舶异常行为样本库子系统、船舶异常行为分析子系统、船舶视频检测与定位子系统、船舶视频自动识别子系统和服务器；所述内河交通数据采集子系统包括AIS接收机、信息抓取模块、工业摄像头、MS Kinect景深摄像头；所述AIS接收机用于接收内河船舶通航时的AIS报文信息，所述信息抓取模块用于采集水文和气象部门数据库的内河环境信息，所述工业摄像头用于采集内河水域CCTV视频图像，所述MS Kinect景深摄像头用于采集内河水域景深图像；上述信息传输到服务器中进行存储；所述AIS报文信息包括内河航行船舶的船名、航速、航向、GPS坐标、目的信息；所述内河环境信息包括内河水位、能见度、风速、风向信息；所述船舶异常行为样本库子系统包括船舶异常行为模式分析模块、船舶操纵模拟器模块、船舶异常行为样本库构建模块；所述船舶异常行为模式分析模块用于深入分析内河水域船舶异常行为模式类别，基于交通事故备案记录，对历史AIS数据进行船舶异常行为模式标记；所述船舶操纵模拟器模块用于模拟船舶异常行为，丰富异常行为模式样本；所述船舶异常行为样本库构建模块用于根据船舶操纵模拟器模块和船舶异常行为模式分析模块处理后的数据，建立完善的内河船舶异常行为样本库；所述船舶异常行为分析子系统包括船舶行为特征和模式提取模块、船舶异常行为类别提取模块、GPS定位信息提取模块；所述船舶行为特征和模式提取模块用于基于历史AIS数据和船舶异常行为样本库，建立深度学习网络模型，提取船舶行为特征和模式；所述船舶异常行为类别提取模块用于基于实时的AIS数据预测船舶行为，获取船舶异常行为类别信息；所述GPS定位信息提取模块用于基于实时的AIS数据获取GPS定位信息；所述船舶视频检测与定位子系统包括船舶视频检测模块、船舶定位模块；所述船舶视频检测模块基于CCTV视频图像，提取船舶目标特征；所述船舶定位模块结合内河水域景深图像和船舶目标特征，获取船舶三维空间坐标，得到船舶视频定位信息；所述船舶视频自动识别子系统基于获取的船舶异常行为类别、GPS定位信息、视频定位信息、船舶目标特征，对船舶进行目标关联分析，在CCTV视频上自动识别出异常行为船舶；所述方法包括以下步骤：步骤1：采集内河水域船舶通航的AIS报文信息、水文和气象部门的环境信息、CCTV视频图像和景深图像，并将上述信息存储到服务器，并对AIS报文信息和环境信息融合建立AIS大数据；步骤2：对内河船舶行为模式进行分类，建立完善的船舶异常行为模式类别；步骤3：基于历史的交通事故记录，对同时段的AIS数据进行异常行为模式标记，并采用船舶操作模拟器模拟船舶行为，建立丰富的船舶异常行为样本库；步骤4：建立船舶行为分析模型，输入实时的AIS数据，输出得到预测的AIS数据，包括船舶异常行为模式和GPS定位信息；所述建立船舶行为分析模型，是采用深度学习网络模型中的深度信念网络DBNs，对于船舶异常行为样本库进行训练学习，获取模型参数，实现船舶行为的各层低维度特征提取；将实时的AIS数据输入到DBNs中，预测出带行为模式标签的AIS时序数据，从而获取船舶异常行为模式和GPS定位信息；深度学习网络模型的 DBNs为6层的深可信网络模型，包含1层输入层，1层输出层，4层隐含层，采用自底向上无监督的贪婪算法对模型预训练学习，用无标签的AIS数据样本训练第一层的参数，由于模型的稀疏性约束，使得模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习到第5层后，将第5层的输出作为第6层的输入，训练第6层，由此分别得到各层的参数；预训练结束后，在最后一层，采用有监督的BP训练学习算法，利用船舶异常行为样本库的数据的重构误差率与分类误差率自顶向下微调各层模型的参数；直到误差率满足精度要求即训练结束，由此得到船舶行为分析模型；步骤5：设计内河船舶视频检测算法，结合景深图像，采用三维重建技术，确定船舶的三维空间坐标，获取船舶视频定位信息；步骤6：基于预测的船舶异常行为类别、GPS定位信息、视频定位信息以及船舶目标特征，对船舶进行目标关联，在CCTV视频上对异常行为船舶自动识别。