[发明专利]一种基于混合模型的道路积水图像检测预警方法

摘要

本发明公开了一种基于混合模型的道路积水图像检测预警方法，属于大数据技术领域，基于深度学习图像特征，实现道路不同监控摄像机的实时积水检测，并生成积水严重等级数据，解决传统检测仪器安装复杂，易损坏等缺陷；采用交互式区域配置方式，适应不同场景的监控摄像机；本发明采用深度神经网络特征和改进后的ResNet残差网络，并联合监控视频的时空特征，混合计算积水置信，提高检测准确率，基于监控视频条件达到实际应用准确率要求。

主权项

1.一种基于混合模型的道路积水图像检测预警方法，其特征在于：包括如下步骤：步骤1：在监测路段的不同位置设置数个摄像机，由所述摄像机拍摄监测路段的监控图像；由用户在监控图像中动态标注并设置积水检测区域和积水等级标志区域；步骤2：对待提取特征的输入图像进行图像特征提取，其步骤如下：步骤A1：待提取特征的输入图像为步骤1中由用户动态标注的监控图像；对待提取特征的输入图像进行特征提取，特征提取包括提取检测区图像和提取积水深度标位图像；步骤A2：检测区图像从实时监控视频中标定位置提取；步骤A3：积水深度标位图像包括两组图像：一组为预置的未积水标志位对比图像、另一组为实时监控的积水标位图像；步骤3：将步骤2提取的检测区图像和积水深度标位图像通过混合数据的方式，并经过减均值和归一化的操作后生成待检测图像，并输入到ResNet残差网络；所述混合数据包括按照224*224尺度变换的原始图像、原始图像的RGB统计直方值；步骤4：在ResNet残差网络对待检测图像进行训练，包括如下步骤：步骤B1：对ResNet残差网络进行改进：将ResNet残差网络改进成50层，其中，1～20层的卷积核大小为7×7，21～40层卷积核的大小为5×5，41～50层的卷积核心大小为3×3；步骤B2:在ResNet残差网络的倒数第49层进行全连接操作，求出输入到ResNet残差网络的图像数据的稀疏特征，第50层使用Softmax分类器，训练或预测待检测图像的标签；步骤B3：取ResNet残差网络的第49层的特征数据，将该特征数据与所述预置的未积水标志位对比图像进行对比；步骤5：使用时间窗方法间隔检测路面积水状态，其步骤如下：步骤C1：设置检测时间窗T＝300秒，检测频率为freq＝10,在帧率fps为25的视频流中，每个检测窗口T内共有750个积水检测区域图像序列送入Softmax分类器进行场景分类；步骤C2：将积水检测区域图像subimg送入编码器Encoder，提取ResNet的第50层的特征数据F＝{f₁,f₂,f₃,f₄},按一下公式计算分类结果：y＝index(max(F_i))；式中：index()函数为最大概率标签max(F_i)的下标位置，当y＝1,即判定本次检测结果为道路积水，i的取值为正整数；步骤C3：当判断为道路积水后，根据以下公式求检测窗口内所有检测区图像序列的平均积水置信_α：式中：N为检测图片总数，T为检测窗口时长，fps为帧率，_freq为检测频率，_α为积水置信度，n值为判定积水的图片与总检测图片比值；步骤C4：置信度α阈值设置为0.85，统计平均积水置信度，当积水置信度>0.85，启动积水深度检测；步骤C5：在积水检测区域标注出10CM、20CM、30CM和40CM深度标志位图像区域，依次读取10CM～40CM深度标志位图像，送入编码器encoder，提取ResNet残差网络的第49层特征数据，并存储在特征字典Dict_f中，启动图像对比进程；Dict_f字典结构如以下公式：Dict_f＝{"deep10":f10,"deep20":f20,"deep30":f30,"deep40":f40}；式中：键值deep10～deep40分别表示10CM～40CM的积水深度预置位初始图像，f10～f40分别为10CM～40CM的积水深度预置位初始图像的编码特征；步骤C6：当Softmax分类器判定检测区图像ROI为积水时，依次读取10CM～40CM的深度预置位实时图像，启动深度比对，采用图像特征相似度判定积水深度检测位是否积水，相信度计算公式如以下公式：式中：D_{f_pre,i}和D_{f_cur,i}分别表示第i个积水深度检测区的预置的未积水标志位对比图像和当前图像，i＝{10cm,20cm,30cm,40cm}；对S进行归一化处理，得S’，当相似度S’大于设计阈值0.7时，则判定预置的未积水标志位对比图像与当前图像相同，即未达到该深度的积水阈值；反之，则达到该深度的积水阈值；步骤6：根据步骤C6的结果：如果检测到路面发生积水，且积水超过警戒阈值，启动消息预警。