[发明专利]脸部影像重建方法与系统

说明书

本发明公开了一种脸部影像重建方法与系统，在脸部影像重建系统的训练阶段中，将热像人脸影像输入至卷积编码器与预训练热成像人脸辨识模型，接着进行特征融合。特征融合的结果输入至卷积解码器进行可见光人脸影像重建。训练阶段使用混合式损失函数。在训练阶段，将重建后可见光人脸影像和相关的真实可见光人脸影像输入至预训练可见光人脸辨识模型和预训练人脸特征点检测模型，以计算混合式损失函数，并进行模型学习与参数更新。

技术领域

本发明涉及一种脸部影像重建方法与系统。

背景技术

随着大数据与深度学习的技术发展，脸部辨识技术已经相当成熟，然而，在某些比较极端的复杂状况，例如光线昏暗或是使用者脸上有化妆或伪装，都可能导致辨识率下降。因此，近年来许多研究都纷纷尝试评估以红外线热影像来进行脸部辨识的可行性。

红外线热影像技术是通过发射红外线来探测人身体本身散发的热辐射，进而根据不同部位温度的差异形成图像。如果利用某些波段的红外线(例如8μm至14μm的红外线)，通常不需要额外光源即可拍摄，可用在热成像/温度控制、预测性维护、漏气检测等。

红外线脸部辨识近年来在实际生活中已经有了诸多商机及应用，例如：生物护照自助通关系统、大楼自助通关系统等，均有很好的辨识效果。这类型的红外线人脸辨识可以不受环境光影响，提供高品质的人脸图像。

然而，红外线热像脸部辨识技术通常需要事先建立脸部红外线的相关特征才能有效识别出身份。对于未知的脸部，将不容易进行身份的调查与追踪。因此，将红外线人脸图像重建为可见光成像将可能是一个可行的解决方案。

“红外线人脸图像重建为可见光成像”技术的优点包括：(1)更广泛的身份追踪；(2)提供更多的细致脸部特征；(3)无痛导入脸部辨识技术；(4)更有效率的生理信息监控。

目前技术对于已知脸部的重建效果较好，对于未知脸部的重建效果则较差。此外，有些技术无法强调人脸的可辨性(discriminability)。

本案不仅着重在脸部特征的重建品质，也强调人脸特征的可辨性，进而更精准地还原可见光脸部图像。

发明内容

根据本案一实例，提出一种脸部影像重建方法，包括：对于从储存装置读出的热像人脸影像进行预处理以得到预处理后热像人脸影像，并定位出在预处理后热像人脸影像中的人脸区域；将预处理后热像人脸影像输入至卷积编码器，以对预处理后热像人脸影像进行下采样，来撷取出第一三维特征向量；将预处理后热像人脸影像输入到预训练热成像人脸辨识模型，以撷取出一维特征向量；对卷积编码器所撷取出的三维特征向量与预训练热成像人脸辨识模型所撷取出的一维特征向量进行特征融合，以得到第二三维特征向量；由卷积解码器对第二三维特征向量进行上采样解码，以得到与热像人脸影像相同大小的重建可见光人脸影像，重建可见光人脸影像储存于储存装置内；将真实可见光人脸影像与重建可见光人脸影像输入到预训练可见光人脸辨识模型，以得到第一特征向量、第二特征向量、第三特征向量与第四特征向量，其中，第一特征向量与第二特征向量用以得到身份损失，第三特征向量与第四特征向量用以得到内容损失；将真实可见光人脸影像与重建可见光人脸影像输入到预训练人脸特征点检测模型，以得到第一与一第二人脸特征点模型，第一与第二人脸特征点模型用以得到人脸特征点损失；以及根据身份损失、内容损失与人脸特征点损失来得到混合式损失函数，混合式损失函数用于调整卷积编码器及卷积解码器。