[发明专利]用于图像中的脸部对准的组合形状回归

说明书

组合形状回归被描述为一种用于图像中的脸部对准和脸部陆标检测的技术。如所描述的，各回归阶段可被构建用于脸部陆标检测系统的多个蕨。在一个示例中，使用脸部形状、使用脸部分量群、以及使用个别脸部点对来在训练图像集上执行回归以学习该图像集中的每一相应图像的形状增量。基于这一回归来构建蕨。执行附加回归以用于构建附加蕨。这些蕨随后被组合以构建脸部陆标检测系统。

领域

本说明书涉及确定用于静止图像或视频图像的脸部对准，且具体地涉及使用基于训练的回归。

背景

随着数字相机在便携式、耐用以及桌面设备中的激增，存在对以新方式使用这些相机的相关需求。这些方式中的一些对相机的视野内的脸部起作用。通过识别并解释脸部，提供了许多新功能，诸如标识已知用户、将用户的表情解释为命令或其他输入、将用户的表情映射到化身以用于聊天会话、确定用户是否正关注用户的视野中的某一事物，等等。通过识别脸部，计算系统可能够应用数字化妆、发型、帽子、衣物、以及其他时尚外表。可执行二维和三维脸部网格生成以及许多其他增强成像功能。这些功能在便携式和可穿戴设备(诸如智能电话、运动相机、以及头戴式设备)中是有用的，并且在笔记本、台式机、游戏以及娱乐系统中也是有用的。

在许多技术中，为了识别并解释脸部，首先标识脸部区域。这可针对针对单个图像或视频中的图像序列来完成。这些图像可以是二维或三维的。一旦系统确定特定区域可能具有脸部，随后确定该脸部的对准。脸部对准是一种定位语义脸部陆标点(诸如耳、眼、鼻、口、下巴和脸颊)集合的位置的技术。这些脸部陆标点随后可被用来确定头部所面向的方向，以跟踪眼睛移动、识别或区分两个不同脸部，等等。脸部对准被用于许多计算机视觉系统(包括脸部识别、脸部特征跟踪、以及动画)中。

脸部对准因不同人的脸部之间的差异并且因在一个人改变表情时造成的差异而变得困难。在人转头或在头部被部分阻挡或遮挡或者被另一人或物体阻挡时，出现另一困难。脸部对准也因脸部后的背景的不同和脸部周围的照明的变化而变得困难。

附图说明

各实施例作为示例而非限制在所附附图中示出，在附图中，同样的参考编号指代同样的元件。

图1是根据一实施例的多阶段回归系统的框图。

图2是根据一实施例的包含指示了初始脸部形状的脸部的示例图像的示图。

图3是根据一实施例的包含指示了脸部分量群的相同脸部的示例图像的示图。

图4是根据一实施例的包含指示了一些点对的相同脸部的示例图像的示图。

图5是根据一实施例的包含指示了脸部区域和点对索引图像特征的脸部的示例图像的示图。

图6是根据一实施例的包含指示了脸部区域和点对索引图像特征的另一脸部的示例图像的示图。

图7是根据一实施例的图像训练过程的过程流程图。

图8是根据一实施例的蕨(fern)形式的二叉决策树。

图9是根据一实施例的使用蕨集合来检测脸部陆标的过程流程图。

图10是根据一实施例的包括交互式视频演示的计算设备的框图。

详细描述

通过训练来生成脸部陆标模型，并且随后可通过将蕨回归应用通过经训练特征来将新图像拟合到该模型。多阶段回归可在每一回归阶段具有蕨。通过训练，该系统学习捕获脸部陆标的外观和几何关系的变化的级联蕨。一旦脸部陆标快速且可靠地被标识出，各种不同操作可被执行，诸如脸部识别、脸部特征跟踪、注视估计、表情或情绪确定，等等。