[发明专利]利用观看者反应估计和视觉提示检测的视频索引

说明书

技术领域

本公开涉及视频索引系统，并且更具体地涉及利用观看者反应估计基于视觉提示检测的视频索引系统。

背景技术

用于视频库的管理（包括分类、搜索和检索）的现有系统典型地依赖于视频分析算法，其分析视频流以产生描述视频的内容的单个综合结果。然而，不同观看者可能具有对视频的变化或个性化响应，其可能不被分析算法所提供的单个综合结果捕获。

一些系统可能尝试通过询问用户反馈来计及观察者个性化的体验。然而，这样的系统由于用户错误和/或评级系统的误解而通常易于出错。反馈典型地还受限于涵盖整个视频的单个评级，这是由于贯穿视频流呈现请求用户响应的连续采用是不实际的。附加地，这些系统要求用户做出特别的努力，这可能减损用户体验的质量并且因此一般是不合期望的。

附图说明

所要求保护的主题的实施例的特征和优点将随着以下具体实施方式的进行并且在参照附图时变得清楚，其中相同附图标记描绘相同部分，并且在附图中：

图1图示与本公开相一致的一个示例性实施例的顶级系统图；

图2图示与本公开相一致的一个示例性实施例的框图；

图3图示与本公开的示例性实施例相一致的特征空间中的情感流形（manifold）的绘图；

图4图示与本公开的示例性实施例相一致的所估计的情感的绘图；

图5图示与本公开相一致的另一示例性实施例的框图；以及

图6图示与本公开相一致的示例性实施例的操作的流程图。

尽管将参照说明性实施例进行以下具体实施方式，但是其许多可替换形式、修改和变型对本领域技术人员而言将是清楚的。

具体实施方式

一般地，本公开提供用于基于所检测的视觉提示估计观看者情感反应并且利用元数据对视频进行索引的系统和方法，所述元数据包括关于情感的信息和这些情感相对于视频的帧的定时。索引系统可以用于基于这些情感事件来概括、划分和搜索视频。在一些实施例中，索引系统可以用于标识视频的流派和搜索视频库内的在流派方面类似的或者可能期望唤起来自用户的类似情感响应的其它视频。系统还可以基于响应于其它视频的观看而检测到的情感反应来学习用户的偏好并且基于这些学习的偏好来做出视频推荐。数据库可以存储多个用户的用户简档，其包括针对每一个用户所学习的偏好以及到经索引的视频的库的链接，由此使得视频推荐和搜索操作能够通过包括其他用户的情感响应而得以加强，这可以被称为人群讯源（crowd-sourcing）。

图1图示与本公开相一致的一个示例性实施例的顶级系统图100。用户104观看视频呈现102。在一些实施例中，视频呈现可以是流送视频或者任何适当类型的媒体呈现。情感估计模块106可以被配置成在观看视频时观察用户104并且检测视觉提示（例如，面部特征、头部位置/方位、注视点和眼睛移动模式等），从视觉提示可以估计用户情感反应，如在下文将更详细描述的。基于情感的视频处理模块108可以被配置成利用包括所估计的用户情感响应和相对于视频的帧的相关联的定时信息的元数据来对视频进行索引。基于情感的视频处理模块108还可以被配置成基于索引来概括、划分和/或搜索视频以及施行附加的操作，如在下文更详细描述的。

图2图示与本公开相一致的一个示例性实施例的框图200。情感估计模块106被示出为包括视觉提示检测模块202、情感流形学习/更新模块208、情感流形206和基于情感流形的估计模块204。

当用户104观看视频呈现102时，用户可以体验一系列情感状态。情感状态的示例可以包括开心、伤心、生气、恐惧、反感、惊奇和蔑视。响应于这些情感状态，用户104可以展现视觉提示，包括面部特征（例如，面部标志的位置、面部纹理）、头部位置和方位、眼睛注视和眼睛移动模式、或者可以与情感状态相关的任何其它可检测的视觉提示。并不是所有情感状态都可以从视觉提示来检测，并且一些不同的情感状态可能共享视觉提示而一些视觉提示可能不对应于具有通常定义或名称的情感状态（例如，多个情感的合成或者处于两个或更多情感之间的情感状态，诸如处于伤心和生气之间的状态或者由开心和惊奇二者合成的状态）。系统因此可以被配置成估计伪情感，其表示可以从视觉提示唯一地标识的情感状态的任何子集。