[发明专利]基于关键点的改进SIFT人脸特征提取方法

摘要

基于关键点的改进SIFT人脸特征提取方法，本方法采用了基于关键点的改进SIFT人脸特征提取的方法。通过定位人脸中的五个关键像素点，并利用SIFT方法中的方向直方图来描述这五个关键点，从而形成鲁棒的人脸图像特征向量。结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值。采用KELM分类器对相似度得分值进行二值分类，得分值较高的一类人脸图片，两张人脸图片均被判为来自于同一个人，而得分值较低的一类人脸图片，两张人脸图片均被判为来自于不同的人。在人脸特征向量的基础上进行人脸识别的过程中，结合了双线性相似度函数和马氏距离来计算两特征向量的相似度得分值，增强了类间的可辨别性。

主权项

1.基于关键点的改进SIFT人脸特征提取方法，其特征在于：本方法的实施流程如下，步骤1、读取人脸图片，并利用三层深度卷积网络级联定位人脸图片上的五个关键像素点；该五个像素点分别为左眼中间位置的像素点，右眼中间位置的像素点，鼻尖上的像素点，左嘴角的像素点以及右嘴角的像素点；该步骤中所用的深度卷积网络级联包括三层；第一层利用深度卷积网络对五个关键像素点进行准确定位，其他两层利用卷积网络对第一层的定位结果进行再次确认；为了保证定位的准确性，每层中各个深度卷积网络的定位结果被融合在一起取平均作为最终的定位结果；深层卷积网络包含四个卷积层、池化层和两个全连接层，起始层获取人脸图片的全局上下文信息，由于卷积网络是对五个关键像素点同时进行预测，所以各个关键像素点间的相对位置在卷积网络训练的同时也被进行了编码，进而削弱了表情变化、光照变化以及其他环境因素造成的影响；步骤2、对于步骤1中提取的五个关键像素点，利用SIFT方法进行特征描述，提取人脸图片的特征；SIFT特征提取方法是一种检测局部特征的方法，不仅具有尺度不变性，同时具有旋转不变性；该方法一般包含四个过程：(1)构建尺度空间，检测关键点；(2)剔除不稳定的关键点；(3)为关键点赋值方向参数；(4)生成关键点的描述子；一般而言，SIFT特征提取方法适用于具有较高对比度的一般物体的识别，而人脸图片具有较低的对比度和边缘响应，由于SIFT特征提取方法不能准确定位人脸图片中的关键点，因此用步骤1中定位关键像素点的方法替换SIFT特征提取方法中的步骤(1)和步骤(2)；然后，对于步骤1中得到的五个关键像素点，取每个关键像素点邻域内的一些像素点，计算每个像素点的梯度模值和方向；定义某个像素点的坐标为P(x,y)：θ(x,y)＝tan‑1((P(x,y+1)‑P(x,y‑1))/(P(x+1,y)‑P(x‑1,y)))其中，m(x,y)为该像素点的梯度模值，θ(x,y)为该像素点的梯度方向；根据上式的计算结果，利用直方图统计邻域内像素点的梯度方向；为减少突变影响，需要用高斯函数对直方图进行平滑；那么，直方图的峰值代表了关键像素点邻域像素点的梯度主方向，也即关键像素点的方向；为了保持旋转不变性，将坐标轴旋转为关键像素点的方向，然后以关键点为中心，取16×16大小的邻域窗口，在每4×4大小的格子中计算8个梯度方向的直方图，最终形成4×4×8＝128维的SIFT人脸特征向量；步骤3、将步骤2中得到的特征向量映射到intra‑personal子空间中；在该步骤中，为了削弱噪声的影响，首先需要将步骤2中得到的特征向量利用PCA方法(主成分分析)进行降维，形成特征脸；其协方差矩阵表达式如下：其中，n为人脸样本数量，xi表示人脸向量，m为n个人脸向量的均值；由于协方差矩阵描述了向量之间的相关性，因此上述协方差矩阵的特征向量形成映射矩阵，根据映射矩阵对人脸图像数据进行映射，即可形成特征脸；然后，为了保证同一个人不同的人脸图片之间的类内不变性，将特征脸映射到intra‑personal子空间中，其协方差矩阵表达式如下：其中，S表示同一个人的人脸图片集合，xi和xj表示同一个人的人脸图片集合中不同的两张人脸图片的人脸向量；∧＝{λ1，...，λk}和V＝(v1，...，vk)的数值分别表示上式协方差矩阵的前k个特征值和特征向量；同样地，前k个特征向量形成映射矩阵，将上述特征脸数据通过该映射矩阵进行映射，从而保证同一个人的人脸图片之间的类内不变性；如果Cs是可逆的，那么，特征脸映射到intra‑personal子空间用下式来表达：其中，V是由上述k个特征向量形成的映射矩阵，是由上述k个特征值所组成的对角矩阵，即最终形成的特征矩阵；步骤4、利用双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值；马氏距离已被广泛用于人脸识别邻域，但其识别效果不是特别好，而近几年的研究表明，双线性相似度函数在图片相似度搜索邻域已获得了很好的效果；因此，本方法中，结合双线性相似度函数和马氏距离来计算两个人脸特征向量之间的相似度得分值，其表达式如下：其中，表示和特征矩阵之间的双线性相似度函数，表示和特征矩阵之间的马氏距离；G和M均为k×k大小的矩阵，需要训练合适的M和G来尽量保证类内不变性的同时保证类间的最大可辨别性；因此，将intra‑personal子空间相似度量学习的表达式定义成如下形式：其中，S和D分别表示相似人脸对即同一个人的两张人脸图片和不相似人脸对即不同人的两张人脸图片的标签；||·||_F是矩阵的F范数，即矩阵元素绝对值的平方和再开方；其作用类似于向量的2范数，因此，表达式在保证类内不变性的同时有效地防止过拟合现象；ξ_t是经验判别的损失函数，最小化该参数可以增强类间的可辨别性；由此可见，ξ_t保证了类间的最大可辨别性，而保证了类内不变性，而正数γ用来协调这两个表达式所带来的影响；对于上述表达式中的不等式，当一对人脸图片来自于同一个人时，y_ij＝1，而ξ_ij的值较小，于是的值会尽可能大；而当一对人脸图片来自于不同的人时，y_ij＝‑1，而ξ_ij的值较小，于是的值会尽可能小；因此，当值较大时，则表明一对人脸图片来自于同一个人，反之，则表明一对人脸来自于不同的人；步骤5、利用KELM分类器判断两张图片是否来自于同一个人；ELM是只包含一个隐含层和一个输出层的神经网络；其最显著的特点是，它的隐含层参数不需要进行调试，而是随机设定的，具有较强的泛化能力；假设ELM的隐含层包含L个节点，则其输出函数如下：其中，x∈Rd，y∈Rc，β表示隐含层的L个节点与输出层之间的权重，h(x)表示L个节点与输入x之间的关系，它是一个非线性的激励函数，实际上，它的作用是将d维数据映射到L维数据空间中，wi表示隐含层第i个节点与输入层的连接权重，bi表示隐含层第i个节点的偏差；在ELM的基础上，又提出了一种基于核函数的ELM方法，即KELM方法；该方法是用核函数来隐藏ELM原有的激励函数H，从而更好地提高了算法的泛化能力；对于某一样本xi，其输出函数表达式如下：Y＝[y1；...；yn]∈Rn×c其中，C是一个回归系数；将步骤4中得到的相似度得分值作为KELM分类器的输入，所得到的输出若为1，则表明两张人脸图片来自于同一个人，若为0，则表明两张人脸图片来自于不同的人。