[发明专利]一种基于视频的火灾烟雾和抛洒物检测方法及系统

权利要求书

1.一种基于视频的火灾烟雾和抛洒物检测方法，其特征在于：所述方法包括：

采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；

采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果；

所述识别模块包括时空窗口提取子模块、视频事件识别子模块、融合判别子模块；

对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，包括：

所述时空窗口提取子模块对所述疑似火灾烟雾或抛洒物目标提取连续多帧的目标检测框作为其时空窗口特征；所述视频事件识别子模块调用3D卷积模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的卷积特征，还调用光流模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的光流特征，并分别得出判别结果；所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出；

其中，所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，包括：

设定3D卷积模型判定疑似火灾烟雾或抛洒物目标为不属于人/车目标的评估值为A、设定光流模型判定疑似火灾烟雾或抛洒物目标为不属于人/车目标的评估值为B，则融合评估值为R=αA+βB，其中，α、β为各自的权重，α+β=1，且α、β并非常数值，而是基于检测结果实时可变的，其计算原则为：当3D卷积模型输出的评估值A高于阈值Ath1且光流模型输出的评估值B低于阈值Bth1时，设置权重αβ以提高外观属性的权重；当3D卷积模型输出的评估值A处于阈值Ath1-Ath2之间且光流模型输出的评估值B处于阈值Bth1-Bth2之间时，此时设置权重α、β为设定值；当3D卷积模型输出的评估值A低于阈值Ath1且光流模型输出的评估值B高于阈值Bth1时，此时设置权重αβ以提高外观属性的权重；

在输出检测识别结果之前，对融合结果进行如下处理：

预先分别选定火灾烟雾/抛洒物的两个显著特征x、y，基于所述显著特征计算所述融合结果的真实概率，计算方式如下：

其中，Π(CNN_x,OF_y)表示CNN_x 、OF_y 所有可能的联合概率分布的集合，W(CNN_x,OF_y)表示事件CNN_x和事件OF_y之间的距离， γ表示特征x发生在CNN_x中、特征y发生在OF_y中这两个事件同时发生的概率；

若距离值W(CNN_x,OF_y)小于设定值，则认定融合结果中显著特征x、y同时发生了，此时判断识别结果是准确的，直接输出识别结果。

2.根据权利要求1所述的方法，其特征在于：所述连续背景建模模块采用高斯混合模型动态建模背景区域。

3.根据权利要求1所述的方法，其特征在于：所述前景目标提取模块利用帧间差信息提取出所述前景目标。

4.根据权利要求1所述的方法，其特征在于：所述人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，包括：

所述人车目标过滤模块，使用图像人车检测模型识别出人/车并标注检测框，若所述前景目标位置与所述检测框的IoU重合率≥thr1，则判定该前景目标为正常的人/车目标而非火灾烟雾或抛洒物；若所述前景目标位置与所述检测框的IoU重合率thr1且在视频中连续出现时长超过thr2，则判定该前景目标为疑似火灾烟雾或抛洒物目标。