[发明专利]用于姿态不变面部对准的系统和方法

说明书

计算系统包括具有至少一个处理单元的处理系统。处理系统被配置为在接收到具有面部图像的图像数据后执行面部对准方法。处理系统被配置为将神经网络应用于面部图像。神经网络被配置为基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。

技术领域

本公开涉及用于面部对准的系统和方法。

背景技术

一般而言，使用卷积神经网络（CNN）级联实现的面部对准技术至少经历以下缺点：缺乏端到端训练、手工制作特征提取和慢的训练速度。例如，在没有端到端训练的情况下，CNN不能联合优化，从而导致次优的解决方案。此外，这些类型的面部对准技术通常实现简单的手工制作特征提取方法，所述方法并不将诸如姿态、表情等各种面部因素考虑在内。此外，这些CNN级联典型地具有浅框架，所述浅框架不能够通过依赖早期CNN的提取特征来提取更深的特征。此外，对这些CNN的训练通常是耗时的，这是因为每一个CNN是独立并依次训练的，并且还因为在两个接续的CNN之间要求手工制作特征提取。

发明内容

以下是下面详细描述的某些实施例的概述。呈现所描述的方面仅仅是为了向读者提供这某些实施例的简要概述，并且这些方面的描述没有限制本公开的范围的意图。实际上，本公开可以涵盖下面可能没有明确阐述的各种方面。

在示例实施例中，一种计算系统包括具有至少一个处理单元的处理系统。处理系统被配置为在接收到具有面部图像的图像数据后执行面部对准方法。处理系统被配置为将神经网络应用于面部图像。神经网络被配置为基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。

在示例实施例中，一种计算机实现的方法包括接收具有面部图像的图像数据。所述计算机实现的方法包括实现神经网络，以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。

在示例实施例中，一种非暂时性计算机可读介质至少包括计算机可读数据，所述计算机可读数据当由具有至少一个处理单元的处理系统执行时，执行包括接收具有面部图像的图像数据的方法。所述方法包括实现神经网络，以基于图像数据和面部图像的参数数据的初始估计来提供参数数据的最终估计。神经网络包括至少一个可视化层，所述至少一个可视化层被配置为基于参数数据的当前估计生成特征图。参数数据包括头部姿态数据和面部形状数据。

通过以下鉴于附图对某些示例性实施例的详细描述，进一步阐明本发明的这些和其他特征、方面和优点，贯穿附图，同样的字符表示同样的部分。

附图说明

图1是根据本公开的示例实施例的系统的框图。

图2图示了根据本公开的示例实施例的图1的系统的姿态不变面部对准模块。

图3是根据本公开的示例实施例的图2的CNN的架构的框图。

图4是根据本公开的示例实施例的可视化块的概念图。

图5是根据本公开的示例实施例的可视化块的架构的示例图。

图6图示了根据本公开的示例实施例的掩模的示例。

图7图示了根据本公开的可替换示例实施例的掩模的示例。

图8图示了根据本公开的示例实施例的基于3D对象的表面法向量在投影期间选择期望表面点的示例。

图9A是根据本公开的示例实施例的图像数据的示例。