[发明专利]一种神经网络与红外图像匹配的厨房吸烟检测方法及系统

权利要求书

1.一种神经网络与红外图像匹配的厨房吸烟检测方法，其特征是，包括：

S100：获取检测数据，包括目标区域的红外图像和可见光图像；

S200：在可见光图像中标注固定高温区域；

S300：将红外图像和可见光图像进行位置配准；

S400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；

S500：采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；

S600：根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。

2.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：

采集检测数据前，使采集红外图像的摄像头和采集可见光图像的摄像头处于同一平面上且光轴平行。

3.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：

步骤S200中，采用显著性目标检测法或人工标注对固定高温区域进行标注。

4.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：

步骤S300中，利用双线性插值法对红外图像和可见光图像进行位置配准。

5.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：

步骤S400具体包括：

对红外图像进行二值化分割；将固定高温区域的位置信息输入到二值化分割后的红外图像中，将红外图像中固定高温区域位置的灰色像素值置为0，获得不含固定高温区域的二值化红外图像；对不含固定高温区域的二值化红外图像进行膨胀，膨胀后的二值化红外图像中具灰度值的区域即高温候选区域。

6.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：

步骤S500进一步包括：

S510：对可见光图像分别进行多次等比缩放，输出等比缩放后的图像并构建图像金字塔；

S520：利用ProNet网络模型对图像金字塔先依次进行3×3卷积核的卷积、2×2池化处理，对2×2池化后的输出再进行两个3×3卷积核的卷积，初步检测可见光图像中存在的所有头部区域窗口并输出；

S530：利用RefineNet网络模型对ProNet网络模型输出的头部区域窗口先依次进行3×3卷积核的卷积、3×3池化处理，再依次进行一次3×3卷积核的卷积、3×3池化处理，对第二次3×3池化处理的输出再次进行2×2池化处理，经全连接层后输出优化后的头部区域窗口；

S540：利用Output Network网络模型对优化后的头部区域窗口先依次进行3×3卷积核的卷积、3×3池化处理，再依次进行一次3×3卷积核的卷积、3×3池化处理，对第二次3×3池化处理的输出再依次进行3×3卷积核的卷积、2×2池化处理，再依次经2×2卷积核的卷积、全连接层后输出头部区域；

S550：将头部区域的高度缩短为原始高度的1/2，仅保留头部区域的下半部分，之后将该头部区域分别向左右各拉长原始宽度的1/10，所得区域作为香烟位置信息候选区域。

7.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：

步骤S600进一步包括：

S610：获取香烟位置信息候选区域四顶点的位置信息，分别标记为；

S620：获取高温候选区域内像素点位置信息获得位置信息数据集；

S630：判断位置信息数据集中是否存在同时满足和

的点；若存在，则判断存在重叠，存在吸烟行为；否则判断不存在重叠，不存在吸烟行为。

8.一种神经网络与红外图像匹配的厨房吸烟检测系统，其特征是，包括：

第一模块，用来获取检测数据，包括目标区域的红外图像和可见光图像；

第二模块，用来在可见光图像中标注固定高温区域；

第三模块，用来将红外图像和可见光图像进行位置配准；

第四模块，用来从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；

第五模块，用来采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；

第六模块，用来根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。