[发明专利]一种基于双线性联合CNN的人脸验证方法

摘要

本发明公开了一种基于双线性卷积神经网络的人脸验证方法。包括下述步骤：1)使用预先准备的人脸图像进行卷积神经网络（下简称CNN）的训练；2）使用训练集中的人脸图片，进行双线性CNN的微调；3)输入待验证的人脸图片，将两张图片进行切分，提取双线性CNN输出的联合特征。4)得到的向量经过一个自编码网络训练，得到最终的验证结果。本发明基于双线性的CNN的方法，并且通过将原始的双线性神经网络的两个重复输入替换成不同的人脸验证输入图像，提出了一种新的人脸验证描述子，它对光照，遮挡和姿态变化具有鲁棒性，且双线性CNN提取的特征比一般CNN全链接层特征维数更小，减少了参数量，从而使得后续的深度信念网络训练更加容易，提高人脸验证的准确率。

主权项

一种基于双线性联合CNN的人脸验证方法，其特征在于，包括以下步骤：(1)对输入的人脸图像，分别以多尺度矩形框截取人脸图像的多个部分的图像，作为CNN的输入，利用训练集中的人脸图像对CNN进行预训练，获得初始CNN模型；(2)将两个具有相同参数的初始CNN模型相结合形成新的双线性联合CNN；其卷积‑池化层的初始化参数由上述步骤(1)给出，两个CNN模型各自的全链接层则替换为一个联合的三层全链接层，这个三层全链接层的输入是由两个初始CNN最后一层卷积‑池化层输出矩阵相乘获得，最后一层的softmax多类分类器结构更换成用于判断是否为同一人脸的二分类器，然后这三层全链接层的参数均初始化为零均值方差为σ的高斯分布随机值；(3)将训练集中的人脸图像进行两两配对，然后分别输入新的双线性联合CNN的两端，根据分类训练结果对整个双线性CNN网络的所有参数进行微调(Fine Tuning)；微调时每次先固定双线性CNN模型其中一边结构的参数，然后对另一边CNN模型的参数使用梯度下降法进行调整，经过多次迭代微调以后，获得用于人脸验证的双线性CNN模型；(4)将采用多尺度多通道多区域的方式所截取的参考人脸图像与检测人脸图像采用三层深度自编码网络进行特征二分类，最终输出人脸验证的识别准确率。