[发明专利]一种基于无监督自动编码器的面部重建方法

说明书

技术领域

本发明涉及面部重建领域，尤其是涉及了一种基于无监督自动编码器的面部重建方法。

背景技术

人体最重要的生物特征之一就是人脸，脸部重建是计算机视觉领域热门的领域之一。人脸重建具有广阔的实际应用，在人脸识别系统、医学、电影广告、计算机动画、游戏、视频会议以及可视电话、人机交互等领域具有广阔的应用前景。在公共安全领域，人脸重建和识别对公安刑侦、预防犯罪等方面有着越来越大且难以忽视的作用。近年来，恐怖活动、暴力事件、暴力犯罪等严重威胁公共安全的时间频繁出现，人脸识别能够方便地对重点区域的进出人员进行控制、对各个场合进行隐蔽监控等，这些都能有效保护公共安全。然而，面部姿态、形状、表情、肤色和场景照明等都会给重建带来影响，提高重建的难度。

本发明提出了一种基于无监督自动编码器的面部重建方法，以语义码矢量的形式给出场景描述，参数解码器生成对应面部的合成图像，通过标准反向传播反转图像形成，实现无人监督的端到端训练，包括图像形成模型、照明模型、图像形成和反向传播，由三个项定义损失函数，包括密集的光度校准、稀疏地标对齐、统计正则化和反向传播。本发明可以编码面部的细节，如姿态、形状、表情、肤色和场景照明等，而且更加精细，无须监督，并且允许端到端学习；与合成人脸数据训练的网络相比，此网络能更好地推广到现实数据中。

发明内容

针对面部姿态、形状、表情、肤色和场景照明等会产生影响的问题，本发明的目的在于提供一种基于无监督自动编码器的面部重建方法，以语义码矢量的形式给出场景描述，参数解码器生成对应面部的合成图像，通过标准反向传播反转图像形成，实现无人监督的端到端训练，包括图像形成模型、照明模型、图像形成和反向传播，由三个项定义损失函数，包括密集的光度校准、稀疏地标对齐、统计正则化和反向传播。

为解决上述问题，本发明提供一种基于无监督自动编码器的面部重建方法，其主要内容包括：

(一)语义码矢量；

(二)基于参数模型的解码器；

(三)损失层。

其中，所述的语义码矢量，语义码矢量参数化面部表情形状肤色相机旋转T∈SO(3)和平移场景照明

x＝(α,δ,β,T,t,γ) (1)

由上式以统一的方式显示；

脸部表示为具有N＝24k顶点的流形三角形网格；使用本地单环邻域计算相关的顶点法线空间嵌入V由仿射面模型参数化：

其中，平均脸部形状A_s基于200个(100个男性，100个女性)高质量面部扫描计算；线性主成分分析基础和分别编码具有最高形状和表情变化的模式；通过将主成分分析混合形状组合获得表情基础，使用变形传递将其重新定位为面部拓扑；主成分分析基础涵盖原始混合形状的99％以上的差异；

除面部几何外，根据仿射参数模型对每个顶点肤色进行参数化：

这里计算了平均肤色A_r，并且正交主成分分析基础捕获最高变化的模式；所有基向量已经用适当的标准偏差缩放，使得

其中，所述的基于参数模型的解码器，以语义码矢量x的形式给出场景描述，参数解码器生成对应面部的逼真合成图像；图像形成模型是完全分析和可微分的，通过标准反向传播反转图像形成，这使网络可以实现无人监督的端到端训练；其包括图像形成模型、照明模型、图像形成和反向传播。

进一步地，所述的图像形成模型，透视相机在全视角投影下，使用针孔相机模型渲染逼真的面部图像Π:将相机空间映射到屏幕空间；相机在空间中的位置和方向由刚体变换给出，基于旋转T∈SO(3)和全局平移参数化；因此，函数Φ_T,t(v)＝T^-1(v-t)和将任意点v映射到相机空间，并进一步映射到屏幕空间。

进一步地，所述的照明模型，使用球形谐波(SH)代表场景照明；因此，用正常表面n_i和肤色r_i评估顶点v_i处的辐射度如下：

H_b:是SH基函数，B²＝9系数(B＝3波段)使用红色、绿色和蓝色通道参数化彩色照明。

进一步地，所述的图像形成和反向传播，使用呈现的相机和照明模型渲染场景的逼真图像；为此，在正向通过中，对于每个顶点v_i，计算屏幕空间位置u_i(x)和相关联的像素颜色c_i(x)：