[发明专利]基于多任务卷积神经网络的网纹人脸图像识别方法及装置

说明书

本发明公开了一种基于多任务卷积神经网络的网纹人脸图像识别方法及装置。该方法包括：收集网纹人脸图像和对应的清晰人脸图像对，然后利用多任务卷积神经网络，分别设计基于回归和分类的目标函数，训练一个人脸去网纹模型，最后将网纹人脸图像输入到训练好的去网纹模型中，得到去网纹的人脸图像，从而进行后续的人脸识别任务。本发明采用了多任务学习的框架，将由网纹图像恢复清晰图像的任务表达成两个互为辅助的目标函数，并利用卷积神经网络学习其中涉及到的复杂非线性变换。发明所采用的方法不仅有效提高了模型训练时的收敛速度，并能明显提升图像恢复的效果以及泛化能力，大幅度提高了网纹人脸图像的识别准确率。

技术领域

本发明涉及计算机视觉、模式识别，机器学习等技术领域，特别是一种基于多任务卷积神经网络的网纹人脸图像识别方法(Multi-task ConvNet for Face Recognition，简称MTCN)。

背景技术

作为生物特征识别技术的一种，人脸识别由于其非接触性以及准确、方便的特点，具有良好的发展和应用前景。人脸识别技术在诸多应用场景中都发挥了十分重要的作用，比如机场安检，边检通关等。传统的人脸识别技术主要针对同一场景下，不同时段内采集的数据。但随着当前人脸识别技术的水平的提高，为了更方便的使用人脸识别技术。基于身份证-生活照比对的人脸识别技术逐渐开始获得更多的关注。这种技术可以更方便的投放在机场通关以及银行远程开户等应用场景中，可以不用提前注册就能正确识别，大幅度提高了人脸识别技术使用时的便利性。

目前身份证-生活照比对技术还是一个比较难的问题。一方面，由于采集环境以及采集设备的区别，本质上，这是一个异质人脸识别问题。异质人脸识别问题中，由于众多原因引起的类内差异非常大，因而非常难以解决。另一方面，为了保护用户的身份证图像不被不法分子乱用，通过身份证读卡器读出来的身份证照片大多加入了随机的网纹做水印。这些网纹干扰使得用户隐私得以被保护，却对机器进行人脸识别造成了巨大干扰。随机的网纹大大降低了人脸检测、关键点检测以及特征提取等步骤的准确率，从而严重影响最终的识别效果。

近年来，深度学习在机器视觉的众多领域都取得了令人瞩目的效果。其中最为瞩目的模型当属卷积神经网络，该类模型使用多层卷积层与池化层，可以抽取层级化的特征，实现较强的非线性表达。卷积神经网络在物体分类，动作识别，图像分割以及人脸识别等领域，均取得了显著强于传统方法的效果。在一些低层视觉问题中，比如图像去噪，图像超分辨，图像去模糊等问题中，这一模型也都取得了不错的效果。

为了解决网纹人脸图像的识别问题，我们可以通过算法从网纹人脸图像中恢复出来不带网纹的清晰人脸图像。利用如上所述的卷积神经网络可以训练一个用来直接从网纹人脸数据中恢复出来清晰的人脸图像的模型。但是简单的使用网纹图像作为输入，清晰图像作为输出，训练出来的神经网络效果比较一般，并且训练过程比较漫长，收敛较慢。而且，由于训练过程缺乏一定的先验知识引导，训练的模型泛化性能较差。

发明内容

为了提高网纹人脸图像用于人脸识别时的准确率，本发明提出了一种基于多任务卷积神经网络的网纹人脸图像识别方法。为了提高网纹图像用于人脸识别时的准确率，本发明首先用网纹图像恢复出不带网纹的清晰人脸图像。本发明使用卷积神经网络作为基础模型框架，根据具体任务的先验知识，设计了一个多任务的优化模型，同时优化残差回归和网纹预测两个任务，同时优化有利于提升网络训练的收敛速度，且得最终的模型具有较快的收敛速度和恢复效果，并有效提高了模型的泛化能力。

本发明提出了一种基于多任务卷积神经网络的网纹人脸图像识别方法，具体按照以下步骤实施：

步骤S1、收集网纹人脸图像和对应的清晰人脸图像对作为样本图像对，形成训练数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图。

步骤S2、训练得到从网纹人脸图像恢复出不带网纹的清晰人脸图像的卷积神经网络模型，包括：