[发明专利]选择和呈现代表性帧以用于视频预览

说明书

技术领域

本公开一般涉及向用户呈现代表性视频概述，并且具体地涉及使用语义特征来选择代表性视频概述。

背景技术

视频托管系统存储并向客户端设备提供视频。随着这些视频托管系统变得越来越流行，视频托管系统越来越多地存储较长形式的视频，有时超过几小时的长度。这些较长形式的视频可以显示各种各样的主题和设置，并且描绘视频内的许多不同的场景和对象。例如，题为“塞伦盖蒂动物”的野生动物视频可能会显示许多不同的动物，如狮子、瞪羚、大象和鬣狗。这些动物可以在各种各样的背景中显示，例如在放牧、迁移时或追逐期间。当用户浏览视频时，视频托管服务提供视频的一些部分作为视频的预览，诸如从视频的开始的单个帧。对于较长形式的视频，预览的选择通常不能准确地表示视频的全部内容，并且用户不能在不观看视频本身的情况下快速地区分特定视频是否具有期望的内容。在“塞伦盖蒂动物”示例中，该预览可以示出狮子休息的帧，但是用户在没有观看视频的情况下将不能够确定视频还包括迁移瞪羚。

发明内容

视频托管服务以视频的预览将来自视频的代表性帧呈现给用户。这允许用户接收关于视频的附加上下文，并且确定是否选择要观看那个视频。视频托管服务分析由视频托管服务接收的视频以生成描述视频内的各个帧的特征。这样的特征包括：描述帧的低级别信息，例如颜色、运动和音频特征；以及预测帧内各种概念的存在的语义特征。在帧中识别的这样的概念包括例如帧包括特定类型的对象(“狮子”)或动作(“打猎”)。

视频托管服务基于视频的特征来识别视频内的片段。每个片段识别将被汇总在一起的视频的连续帧的一部分。在一个实施例中，通过识别视频中的镜头边界来确定每个片段。在识别片段集合之后，视频托管系统分析每个片段并识别可用于向用户概述该片段的代表性帧。为了识别代表性帧，视频托管系统确定哪些语义概念在片段内并且根据帧中包含该片段的语义概念的似然性对片段中的每个帧进行打分。在一个实施例中，分数组合来自帧的多个语义概念的分数，这可以允许包括片段的多个概念的帧比包括片段的单个概念的帧接收到更高的分数。每个帧的分数还可以包括指示其照片质量的帧的美学分数。选择片段中具有最高分数的帧作为该片段的代表性帧。可以通过锐度和对比度等来度量照片质量。在各种实施例中，语义分数与美学分数组合以确定该帧的总分数。选择片段中具有最高总分数的帧作为该片段的代表性帧。

在一个实施例中，通过一种或多种不同的分割技术来识别视频的片段。由每种技术识别的片段被称为片段集合，并且片段集合中的片段可以是原始视频的重叠部分。因此，可以通过各种片段集合以多种不同的方式来分割视频。确定每个片段集合的每个片段的代表性帧。作为多个片段集合的结果，视频托管系统基于用于分割视频的技术来识别视频的代表性帧，增加代表性帧捕获视频的替代部分的似然性。片段和相关联的代表性帧被存储为在片段表中的条目。条目指示片段的视频的部分、片段的代表性帧以及与该代表性帧相关联的概念。

视频托管系统接收用于概述视频的请求。概述视频的请求可以基于用户浏览视频托管系统中的视频，或者可以基于与请求相关联的搜索查询。视频托管系统通过将片段的语义概念与与请求相关联的语义概念进行比较来识别片段表中与请求相关的片段。通过对搜索查询、用户兴趣信息的分析或通过识别与视频的元数据相关联的语义概念来确定与请求相关联的语义概念。当没有搜索时，在一些实施例中，片段表中的所有片段被视为相关的。

接下来，从相关片段中，选择代表性片段集合。可以选择一个或多个代表性片段。基于相关片段和与查询相关联的语义概念之间的匹配来对相关片段进行打分。在打分之后，从相关片段中选择代表性片段集合以概述视频。视频托管系统选择具有最高分数并反映与所选择的片段相关联的语义概念中的多样性的片段。与所选择的片段相关联的代表性帧用于生成视频的概述。所述概述按时间顺序组合代表性帧并向用户呈现一系列帧。视频概述被提供给可以确定是否观看整个视频的用户。