[发明专利]基于帧间差异与卷积神经网络融合的船舶视频检测方法

权利要求书

1.基于帧间差异与卷积神经网络融合的船舶视频检测方法，其特征是根据河运监控视频进行船舶检测，包括以下步骤：

步骤S1，对输入的视频作图像预处理，所述预处理包括滤波除噪和图像锐化；

步骤S2，对视频求取帧间差异，前一帧检测出的船舶位置得出需要检测的船舶可能存在区域，作为ROI区域，对ROI区域划分小区域提取浅层特征；

步骤S3，修改VGG16网络模型：对VGG16的conv3卷积层、conv4层、conv5卷积层内的各个卷积层两两添加shortcut connection，形成残差网络基本结构；同时在conv5-3卷积层后面额外添加一个1×1的卷积核；然后，用由视频得到的实际内河场景下的船舶图片和ImageNet数据集去训练该VGG16网络，用训练好的VGG16网络对输入船舶视频的每一帧提取高层特征，只提取conv5-3卷积层得出的视频每一帧的高层特征；

步骤S4，利用提取出的特征矢量预测ROI区域逐区域的显著度，获得ROI区域的显著性图，提取船舶目标。

2.根据权利要求1所述的基于帧间差异与卷积神经网络融合的船舶视频检测方法，其特征是步骤S2具体为：

对视频的帧与帧之间求取差值，用后一帧图片减去前一帧图片，得出对应像素点的灰度值差，设置一个阈值，将差值小于阈值的部分视为未发生变化的区域，即背景区域，而差值大于阈值的部分即为目标船舶运动的变化区域，对该区域作连通性分析，得出可能存在船舶的ROI区域，同时将上一帧检测出的船舶位置也标记为ROI区域；对整个ROI区域随机选取N个像素点，将这N个像素点周围的像素点按距离划分成N个小区域，对每一个区域提取包括RGB颜色直方图、LAB颜色直方图、HSV颜色直方图、Gabor滤波器响应、最大Gabor响应在内的浅层特征。

3.根据权利要求1所述的基于帧间差异与卷积神经网络融合的船舶视频检测方法，其特征是步骤S4具体为：利用实际内河场景下的船舶图片训练softmax分类器，然后将每一帧提取出的ROI区域浅层特征和该帧的高层特征分别拉伸为一维矢量，并拼接为一个特征矢量输入后续的两个全连接层，再输入最后的softmax分类器，从而对ROI区域判断船舶显著性，提取出视频中的船舶。