[发明专利]一种基于特征解耦的跨模态异质人脸识别和原型修复方法

说明书

本发明公开了一种基于特征解耦的跨模态异质人脸识别和原型修复方法，技术路线为：先从输入人脸图片学习到潜在特征空间，并在特征空间中解耦原型特征和源域特征，再用目标域特征替换源域特征，进而解码到像素空间中生成目标域的人脸原型图片。不同于现有跨模态人脸识别技术只关注系统自动识别准确率，本发明引入了跨模态人脸原型修复过程，提供了人工鉴别和比对途径，进而提高了复杂环境下人脸识别系统的鲁棒性。此项发明技术尤其适用于刑事侦查和犯罪识别。发明融合了解耦表征学习与生成对抗学习技术，通过在潜在特征空间中仅解耦原型和域特征，进而在像素空间中自适应地移除了人脸变化信息。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于特征解耦的跨模态异质人脸识别和原型修复方法。

背景技术

在现实生活中，人脸识别系统所接收到的待检索目标人脸照片与系统预存的注册人脸照片可能不属于同一个模态(域)。比如说，注册人脸照片是可见光域的标准证件照，而待检索目标人脸照片是采集自红外摄像头的近红外图片。在这种情况下，由于这两种异质图片所处模态存在巨大差异，因而加大了系统的匹配和识别难度。这个问题被称为跨模态异质人脸识别。此外，在一些非受控场景，待检索目标人脸照片可能带有夸张的面部表情、或存在大角度的头部姿态、或部分面部被遮挡等，无法从视觉上提供良好的个人样貌特征供人工鉴别和比对。

自编码器(Auto Encoder)是一种人工神经网络，它有两个主要组成部分：编码器与解码器。编码器用于将输入图片编码，解码器使用编码来重构输入图片。自编码的目的是对输入数据学习出一种语义层次的表征，通常用于特征提取和降维。特征解耦(FeatureDisentanglement)旨在从真实数据中对具有不同的语义的生成因子进行解耦，分离出其对应的独立特征表示。特征解耦的前提是提取特征，而解耦一般利用信息熵或者变换空间后的数学特性来完成。特征解耦可用于多模态特征表示，它将多模态数据解耦为两种特征，一种表示模态之间的共同语义信息，另一种表示每个模态的独特属性。其中共同语义信息可用于跨模态人脸检索以及风格迁移中的身份信息保持等。

生成对抗网络(GAN)于2014年被蒙特利尔大学Ian Goodfellow等学者提出，GAN技术鉴于其强大的生成能力被广泛应用于图片生成任务,并被图灵奖得主Yann LeCun赞誉为“机器学习这二十年来最酷的想法”。GAN是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。具体来说，GAN由一个生成器与一个(或多个)判别器组成。生成器从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成器输出的虚拟样本，其目的是将生成器的输出从真实样本中尽可能分辨出来。生成器和判别器相互对抗、不断调整网络参数，最终使判别器无法判断生成器的输出结果是真实样本或是生成样本，从而达到一种“纳什均衡”状态。

基于此，本发明旨在提出一种跨模态异质人脸识别和原型修复方法，一方面在特征空间中解耦出待检索人脸模态不相关的身份特征，以达成系统的准确识别目标人脸；另一方面在像素空间中对该检索人脸进行跨模态的脸部原型修复，复原正脸的、带有中性表情的、去遮挡的注册人脸所在域原型图片。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于特征解耦的跨模态异质人脸识别和原型修复方法，主要目的在于处理待检索目标人脸(域A)与注册人脸(域B)模态不一致情况下的异质人脸识别，并同时对域A的待检索目标人脸修复其在域B的脸部原型供人工鉴别和比对。

一种基于特征解耦的跨模态异质人脸识别和原型修复方法，包括以下步骤：