[发明专利]一种重点场所安防监控图像识别方法

权利要求书

1.一种重点场所安防监控图像识别方法，其特征在于，包括以下流程步骤：

S1、采集重点场所安防监控图像，包括可见光图像与红外图像，对样本图像进行规范化处理：

1)使用重点场所安防监控摄像头拍摄的图片中，获取相同时间与位置拍摄的可见光图像与红外图像，对图像进行分选，选取无人物的可见光图像与红外图像、有人物的可见光图像与红外图像，图像数量比例为1:1；

2)对图像进行调整，将图像置于256x256的画布中央，保持图像几何中心点与画布几何中心点重合，将图像像素大小按比例缩小，当图像缩小后较窄的一条边与画布边缘重合，则停止缩小，将超出画布的部分剪裁，仅保留与画布重合的部分，得到256x256的图像样本；

3)将尺寸调整后的图像样本进行保存，制作成样本图像数据集；

S2、搭建可见光与红外图像的融合模型，将两种图像进行融合，得到融合样本图像数据集：

1)对样本图像数据集进行预处理，采用中值滤波算法对样本图样数据集中的可见光图像与红外图像进行图像去噪，再将处理后的样本图像采用自适应直方图均衡化的方式进行图像增强，再采用双线性插值算法对红外图像插值，使得原始具有较低分辨率的红外图像数据再生出具有较高分辨率的图像数据，以匹配可见光图像的像素，得到预处理后的样本图像数据集；

2)对预处理后的样本图像数据集进行配准，图像配准是对同一目标的两幅及以上的图像在空间位置的对准，首先选择将可见光图像作为参考图像，将红外图像作为变换的目标图像，选取图像的空间变换模型；设置初始变换参数的初始搜索点，用初始点算出空间变换模型然后对红外图像进行几何变换；然后对变换的图像进行灰度插值，判断相似性测度函数是否达到最大值，如没有则进入下一步骤优化；利用搜素优化算法，进行搜索优化，求得相似性测度函数达到最大时的最佳配准参数；利用得到的参数在对变换后的红外图像再进行最后一次灰度插值输出配准后图像进行空间变换，最终进行灰度插值得到配准后图像；

3)搭建可见光与红外图像的融合模型，构建的红外与可见光图像融合网络包含输入编码网络、中间特征融合层、输出解码网络三部分，编码网络采用孪生结构，由两个包含相同数目卷积层与结构的分支组成；因为卷积核的尺寸设置为3*3，所以可以输入任意大小尺寸的图片，卷积步长设置为1，使用Swish激活函数；中间特征融合层采用基于L1范数的方法进行通道压缩，并根据区域能量特征对压缩后的源图像特征进行融合，融合后的特征图输入到解码网络重构出融合后的图像；解码网络包含四个卷积层，卷积核数量按照重构过程逐渐减少，卷积核的尺寸设置为3*3，卷积步长设置为1，同样使用Swish激活函数；

4)将配准后的红外图像与可见光图像分别输入到编码网络中，经过采用密集连接的卷积神经网络对各自图像进行特征提取得到多通道特征图，利用中间特征层融合获取到的多通道特征图，融合后的特征图经过解码网络的图像解码重构，从而还原出红外与可见光融合图像，得到融合样本图像数据集；

S3、对融合图像进行分类，分为包含行人姿态内容的图像与包含人脸内容的图像，对图像进行标注：

1)对经过融合模型处理完成的可见光与红外融合图像进行分类，按照图像中包含的人物内容进行划分，分为行人姿态内容图像与人脸内容图像两个类别；

2)采用VIA-VGGImageAnnotator对分类后的图像进行进行矩形框标注，对图像中出现的行人、人脸进行框选标注，得到标注完成的行人姿态内容图像数据集、人脸内容图像数据集；

S4、搭建行人姿态识别模型，将行人姿态内容图像数据集中的图像数据集输入模型中进行训练，建立人体姿态参数，与安全数据库中保存的安全人员姿态数据进行比对，输出识别结果：

1)搭建GhostNet基础网框架并进行优化，为了缩减网络参数量并提高网络运算效率，去掉了原GhostNet网络中的注意力模块，使用全局平均池化和1×1卷积层替换全连接层，得到行人姿态识别模型；

2)将行人姿态内容图像数据集中的图像数据输入模型中进行训练，在图像中建立像素坐标系，对人体测量的关键点进行定位，并获取特征点的坐标值；通过提取到的关键点数据，对人体各部位进行模型构建进行计算，包含了颈围、总肩宽、臂围、胸围、中腰围、裤腰围、腕围、臀围、大腿围、小腿围，对人体参数进行测量计算，得出人体姿态参数；

3)将人体姿态参数与安全数据库中保存的安全人员姿态数据进行特征比对，输出识别结果；识别结果分为安全行人与非法闯入行人；

S5、搭建人脸识别模型，将人脸内容图像数据集中的图像数据集输入模型中进行训练，与安全数据库中保存的安全人员人脸数据进行比对，输出识别结果：

1)搭建VGGFACE基础网框架并进行优化，VGGFACE基础网框架主要包括5个卷积块共13个卷积层，3个全连接层；每个卷积层后接池化层，每个卷积层都选用padding为1，卷积核大小为3的卷积，保证了卷积前后图像大小不变；

2)利用深度可分离卷积对VGGFACE的5个卷积模块进行改进，深度可分离卷积是对各深度的特征图进行卷积计算，因而将各层中的卷积核按照通道数划分；以第一层中3x3x3卷积核conv_1为例，在深度可分离卷积中该卷积核被分为3个大小为3x3深度为1的卷积核，相应地将第二层中的单个卷积核分解为64个，得到改进后的VGGFACE模型；输入特征图的大小为224x224x3，经过深度可分离卷积卷积核后输出特征图的大小为224x224x64，与原先的卷积核实现的结果一致，并且深度可分离卷积中参数量仅为4891而原先的conv_1中两个卷积层的参数量之和为38592，在实现相同功能的情况下参数量比原先减少了很多，使得模型的冗余参数减少，降低对硬件计算能力的要求，节省大量的计算资源；

3)将人脸内容图像数据集中的图像数据输入改进后的VGGFACE模型中进行训练，提取目标人脸特征向量；

4)将安全数据库中保存的安全人员人脸数据特征向量采用Annoy索引的方式形成多个二叉树结构，将提取到的目标人脸特征向量进行人脸识别时，只需要分别遍历这些二叉树，得到离目标最近的特征向量，并设定阈值控制判断，输出识别结果，识别结果分为安全人脸与非法闯入人脸；

S6、结合行人识别结果与人脸识别结果，判断进入重点场所的人员是否为非法进入，如为非法进入则将信息传送给安全警报系统，提醒安保人员立即进行相关处置：

1)将行人识别结果与人脸识别结果进行合并分类，将结果为安全行人与安全人脸合并输出为安全，记录人员进入重点场所的时间；

2)将结果为非法闯入行人与安全人脸、安全行人与非法闯入人脸两种合并输出为待确认安全，记录人员进入重点场所的时间与图片，上传至安全警报系统，待人工再次核查判断；

3)将结果为非法闯入行人与非法闯入人脸合并输出为不安全，上传至安全警报系统，提醒安保人员立即进行相关处置。