[发明专利]基于动作增强的人脸防欺骗识别方法

说明书

本发明公开了一种基于动作增强的人脸防欺骗识别方法。属于数字图像处理技术领域。本发明通过动作增强技术增强输入CNN+LSTM网络视频中的动作信息，此外，为了克服现有CNN+LSTM框架存在丢失位置信息的缺陷，本发明将LSTM结构加在最后一个池化层后面，并去掉全连接层，达到保留位置信息的目的，从而使得提取的序列特征更具有区分能力；同时本发明还在改进后的框架中加入了注意力机制，通过设置位置置信度矩阵，将位置变化明显区域置信度值增大，使得LSTM更加专注动作信息集中区域。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于动作增强的人脸防欺骗识别方法。

背景技术

作为一种方便和高效率的生物识别认证，人脸识别已经引起了越来越多的关注。尽管人脸识别系统发展迅速，但其安全性面临严峻的挑战。人脸识别系统很容易受到攻击，用打印的照片或转播的视频来欺骗攻击人脸系统成为不法分子常用的手段。一般来说,一个实际的人脸识别系统不仅需要高度的识别性能，但同时也要具有区别认证信息是来自攻击者(假脸)还是来自真实的人(真实的面孔)。

在现在研究的人脸防欺骗技术中，大多数都是基于人工设计的特征提取器来提取真实人脸和各种欺骗材料在表面反射和材料等方面的纹理信息差异，或者将验证信息利用傅里叶变换转化到频域上进行分析。这些传统方法虽然在一定程度上可以区分一些真假人脸信息，但是难以应对日益复杂的欺骗方法。随着深度学习的不断发展，许多研究者尝试使用卷积神经网络(CNN)来自动学习真假人脸照片间的特征差异，并取得了较好的结果。但是许多方法还是简单的利用CNN网络提取输入特征，并没有考虑摄像头捕捉到的视频帧与帧之间的相关性。考虑到这种情况，许多人提出了自己的解决方案，其中采用CNN+LSTM结构的深度学习网络取得了很好的结果，LSTM(长短期记忆网络Long Short Term MemoryNetwork)是一种学习时间依赖信息的结构，它可以不断记忆输入视频帧的有用信息，并丢弃无用信息。所以它可以在整个视频序列中很好的学习与时序相关的信息，记忆动作增强线索，通过不断对比学习输入视频帧序列的信息，学习动作线索，通过学到的动作线索判断这个视频序列整体人脸的真假，但是这种方案仍存在许多待改进的地方。其对输入数据的并没做太多的预处理和信息挖掘，此外，其LSTM结构直接加在了CNN网络的全连接层输出上，这样就丢失了前面卷积层上具有的位置信息，而位置信息对视频帧的序列特征非常重要。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种利用动作增强技术的改进型CNN+LSTM框架的人脸防欺骗识别方法。

本发明的基于动作增强的人脸防欺骗识别方法，包括下列步骤：

构建基于卷积神经网络CNN和长短期记忆网络LSTM的人脸防欺骗识别网络模型：包括卷积层，池化层，LSTM层、注意力机制层和分类层，其中n路顺次连接的13层卷积层、1层池化层和3层LSTM层接入同一注意力机制层，所述注意力机制层用于将来自LSTM层的图像数据矩阵与位置置信度矩阵相乘，得到注意力机制处理后的图像数据矩阵并输入分类层，分类层用于判决视频人脸真假，其中n表示满足检测时长的视频的帧数，池化层的池化方式为最大值池化；

训练所述人脸防欺骗识别网络模型：

步骤S11：初始化网络参数；

步骤S12：初始化位置置信度矩阵；

输入一段帧数为n的训练视频序列，并对训练视频序列的视频图像进行图像预处理，包括归一化处理和采用动作增强技术的图像增强处理，得到n帧增强视频图像；

其中初始位置置信度矩阵和对输入的训练视频序列进行图像预处理无处理上的先后顺序之分。

步骤S13：将n帧增强视频图像输入所述人脸防欺骗识别网络模型，进行前向传播计算，预测视频人脸真假，并与真实标签进行比较，计算分类层的损失函数