[发明专利]视频内容中的脸部识别

说明书

技术领域

本发明涉及人脸识别，特别是在视频内容中的脸部识别。

背景技术

许多视频内容的消费者在寻求与视频内容的交互。例如，用户可以暂停、倒带、快进以及其它方式控制他们的观看体验。这些都是众所周知的概念，然而，许多用户也非常想要其它类型的交互。

一种期望的交互类型是能够使用个性化视频服务之类以探索在视频内容中嵌入了什么。作为示例，用户可能希望找出在某个场景中的演员的身份，和/或(即使该演员的身份是已知的)，找出有关该演员的更多一些的信息，例如传记信息。当前，为了找到有关电视节目或电影的演员表的更多信息，用户可以转向因特网，所述因特网包括了至少一个具有以每个节目为基础上的全局信息的网站。在那，用户可以查找在这样的站点上的节目，并浏览图像库直到找到感兴趣的演员。

除了手动转到因特网之外，提供更加自动用户交互章节(例如暂停节目并请求在该时刻出现的演员的自动标识)的服务将需要依赖于脸部识别。然而，脸部识别是最具挑战性的机器学习任务之一，因为诸如亮度条件、姿势位置和脸部表情之类的因素对最终的精度和调用(recall)结果有显著的影响。而且，脸部识别是复杂的，因为人的年龄等等随时间是变化的，例如从有胡须的到刮光胡须的，同时带了帽子等等。迄今，还不存在一种提供对这样的自动化服务支持的已知的方法。

发明内容

提供本发明内容以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简而言之，在此所述的主题的各个方面旨在推动可以从输入视频识别脸部的技术。将与在输入视频帧中(例如通过脸部检测模块)检测到的脸部相对应的脸部检测数据和(例如在脸部图库中维护的)脸部标识数据进行匹配以识别脸部。为后续标识生成并维护将视频帧以及脸部与脸部标识数据相关联的元数据。可以通过脸部跟踪找到附加脸部，其中，使用脸部检测数据作为用于在一个或多个先前和/或后续视频帧上(例如通过脸部显著标记(faciallandmark))跟踪脸的基础。

在一个方面，通过基于类似性数据对脸进行分组来生成脸部图库，这样，每个类似的脸的集合被放置同一候选组中。基于类似性数据将候选组分成超过一个的候选组，和/或可以基于类似性数据将候选组与另一候选组组合成基于该类似性数据的单个候选组。可以通过例如如果在一个候选组中的任意脸看起来不是同一个人的则丢弃该候选组来过滤候选组。随后将剩余的脸加入到脸部图库之一中，每个脸部图库用脸部标识数据来标记。

在一个方面，可以访问维护的元数据以有效地确定对应于观看者选择的脸的人的身份。例如，当接收到标识与视频帧号相关联的观看者选择的脸的请求后，可以访问元数据以确定是否存在该观看者选择的脸的脸部标识数据。如果存在，对应于脸部标识数据的信息(例如人的名字)可以被返回以作为对所述请求的响应。

在一个方面，可以提供脸部识别流水线，它包括提供检测的脸的数据的脸部检测模块、通过类似性将脸分组以生成图库的脸部分组模块、在相邻的帧上跟踪所检测的脸的脸部跟踪器、以及将输入视频中的脸与脸部图库中的脸进行匹配以输出对应于在输入视频中所识别的脸的信息(例如元数据)的脸部识别机制。可以访问在给定视频帧中的观看者选择的脸的情况下标识人所需的所述信息。

结合附图阅读以下详细描述，本发明的其他优点会变得显而易见。

附图说明

作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中：

图1是表示脸部识别流水线的示例组件的框图。

图2A是可用于跟踪视频帧中的脸的正面脸部显著标记的表示。

图2B是可用于跟踪视频帧中的脸的侧面脸部显著标记的表示。

图3-6是随时间的视频帧表示，说明了脸部检测和脸部跟踪。

图7是示出可以由脸部识别流水线执行的示例步骤的流程图。

图8是表示用于使用由流水线提供的脸部识别数据来后续标识所选择的脸的示例组件的框图。

图9示出可以将本发明的各方面并入其中的计算环境的说明性示例。

具体实施方式