[发明专利]一种火焰识别方法、系统、介质和设备

权利要求书

1.一种火焰识别方法，其特征在于，包括如下步骤：

模型构建步骤：

获取训练样本集，训练样本集中包括多个带标签的训练样本，训练样本为有火焰图像或无火焰图像，各训练样本的标签即为有火焰或无火焰；

将各训练样本作为输入，各训练样本的标签作为输出对卷积神经网络进行训练，得到训练好的卷积神经网络，将训练好的卷积神经网络中全连接层去除后作为深度特征提取模型；

将各训练样本输入到深度特征提取模型中提取出深度特征；从训练样本中提取出手工特征；将各训练样本提取出的深度特征和手工特征作为输入，各训练样本的标签作为输出对分类器进行训练，得到训练好的分类器，作为火焰识别模型；

火焰识别步骤：

获取火焰待识别图像，作为测试样本；

从测试样本中提取出手工特征，将测试样本输入到深度特征提取模型中提取出深度特征；

将测试样本中提取出的手工特征和深度特征输入到火焰识别模型，通过火焰识别模型输出火焰识别结果；

还包括对当前火焰识别模型进行优化训练，步骤如下：

步骤S1、从火焰识别的应用场合中获取到有火焰的视频和无火焰的视频；

步骤S2、针对于有火焰视频中的每帧有火焰图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为无火焰，则将该帧图像判定为漏报图像，将有火焰视频中的漏报图像按照其所在视频帧序号顺序存储到第一文件夹中；

针对于无火焰视频中的每帧图像，将其作为测试样本进行火焰识别步骤，在火焰识别步骤后，若火焰识别模型输出的火焰识别结果为有火焰，则将该帧图像判定为误报图像；将无火焰视频中的误报图像按照其所在视频帧序号顺序存储到第二文件夹中；

步骤S3、针对于第一文件夹，首先提取第一文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第一文件夹的第一张图像作为当前图像，执行步骤S31；

S31、计算第一文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像P；此时将当前张图像作为典型样本；

S32、将步骤S31中找到的图像P作为当前图像，执行步骤S31；直到第一文件夹中所有的典型样本均找到；

针对于第二文件夹，首先提取第二文件夹中各张图像的手工特征，并且通过深度特征提取模型提取出深度特征，各张图像的手工特征和深度特征组合拼接成一维数组后作为特征向量；然后将第二文件夹的第一张图像作为当前图像，执行步骤S33；

S33、计算第二文件夹中当前图像与当前图像的下一张图像之间特征向量的余弦相似度，若两者余弦相似度大于阈值T1，则再计算当前图像与当前图像的下下一张图像之间特征向量的余弦相似度，一直找到与当前图像之间特征向量的余弦相似度小于等于阈值T1的图像Q；此时将当前张图像作为典型样本；

S34、将步骤S33中找到的图像Q作为当前图像，执行步骤S33；直到第二文件夹中所有的典型样本均找到；

步骤S4、将步骤S3获取到的各典型样本作为新训练样本，将新训练样本的手工特征和深度特征作为输入，新训练样本的标签作为输出对当前火焰识别模型进行训练，得到优化训练后的火焰识别模型。