[发明专利]一种基于注意力图的吸烟行为检测方法及装置

说明书

本申请提供一种基于注意力图的吸烟行为检测方法及装置，该方法包括：提取目标图像的人脸区域，得到人脸图像；利用特征提取网络获取该人脸图像的第一特征图；对第一特征图进行卷积运算，得到M个注意力图，每个注意力图对应于人脸图像上的一个注意力集中区域；将M个注意力图作用到第一特征图中，得到第二特征图；根据第二特征图确定人脸图像中人物是否存在吸烟行为。上述方法首先检测人脸区域，再基于人脸区域的图像特征进行分类，由于烟在人脸区域所占的比例较大，所以，可以有效提取到烟的特征，避免了由于烟过小而检测不到的问题，同时，基于注意力机制对烟出现概率大的位置进行特征增强，有利于提升吸烟行为检测的准确度。

技术领域

本发明涉及深度学习技术领域，具体而言，涉及一种基于注意力图的吸烟行为检测方法及装置。

背景技术

鉴于吸烟者的吸烟行为对吸烟者及周围人的身体健康以及环境安全会造成很大的安全隐患，目前，很多场所明令禁止人们吸烟。与此同时，基于视频监控的吸烟行为检测技术开始发展，可以利用视频监控智能识别画面中的人是否吸烟。

目前，检测吸烟行为的手段有：利用两个检测模型对一帧图像中的烟、人头分别进行检测，得到烟的矩形框以及人头的矩形框，若两个矩形框存在交集，则认为该帧图像中的人在吸烟。但是，烟属于非常小的目标，在分辨率较差的视频中很难检测到，同时，复杂场景下还会因为其他物体造成烟头的误检。

发明内容

本申请实施例的目的在于提供一种基于注意力图的吸烟行为检测方法及装置，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种基于注意力图的吸烟行为检测方法，包括：提取目标图像的人脸区域，得到人脸图像；利用特征提取网络获取所述人脸图像的第一特征图；对所述第一特征图进行卷积运算，得到M个注意力图，每个注意力图对应于所述人脸图像上的一个注意力集中区域；将所述M个注意力图作用到所述第一特征图中，得到第二特征图；根据所述第二特征图确定所述人脸图像中人物是否存在吸烟行为。

上述方案首先提取人脸区域，再基于人脸区域的图像特征进行分类，由于烟在人脸区域所占的比例较大，所以，可以有效提取到烟的特征，避免了由于烟过小而检测不到的问题，同时，基于注意力机制对烟出现概率大的位置进行特征增强，有利于提升吸烟行为检测的准确度。

在一种可选的实施方式中，所述第一特征图的通道数为C，所述将所述M个注意力图作用到所述第一特征图中，得到第二特征图，包括：将所述第一特征图分别与所述M个注意力图中的每一注意力图按元素相乘，得到M个C通道的第三特征图；对每一所述第三特征图进行全局池化，得到M个单通道的第四特征图；将M个第四特征图进行拼接，得到M通道的所述第二特征图。

注意力分布集中的区域，表明该区域内可能包含所需的关键信息，即该区域是烟出现概率较大的区域，第一特征图中这部分区域的特征值应当被重点关注。

在一种可选的实施方式中，所述提取目标图像的人脸区域，得到人脸图像，包括：提取所述目标图像中的人脸区域，将所述人脸区域的宽度按照预设比例向外扩展，得到新的人脸区域；根据所述新的人脸区域得到所述人脸图像。

通过将所提取的人脸区域向左右两边扩展，使人脸图像中尽可能的包含有“烟”这一目标，以解决由于人物侧站，烟未位于人脸区域内的问题。

在一种可选的实施方式中，在对所述第一特征图进行卷积运算，得到M个注意力图之前，所述方法还包括：构造第一神经网络，所述第一神经网络依次包括：卷积层、池化层以及拼接层；所述卷积层用于对输入的特征图进行卷积运算并输出M个注意力图，所述池化层用于对输入的M个特征图进行全局池化并输出M个单通道的特征图，所述拼接层用于对输入的M个单通道的特征图进行拼接；在训练所述第一神经网络的过程中，每次训练随机使所述卷积层输出的M个注意力图中的至少一个注意力图的注意力作用失效。