[发明专利]生成数字媒介环境中的紧凑视频特征表示

说明书

本公开的实施例涉及生成数字媒介环境中的紧凑视频特征表示。描述了用于生成视频中的帧序列的紧凑视频特征表示的技术和系统。在一个示例中，使用机器学习(例如，通过使用卷积神经网络)从视频的多个帧中的每个帧提取特征的值。(例如，通过使用递归神经网络)生成视频的时间顺序动态的视频特征表示。例如，维护多个特征中的每个特征的、已经针对视频中的多个帧已经达到的最大值。还维护指示针对多个特征每个特征何时达到最大值的时间戳。视频特征表示然后被输出作为基于视频特征表示确定视频与至少一个其他视频的相似性的基础。

背景技术

机器学习由服务提供者系统使用，以基于一个到另一个的视频相似性的确定，来支持各种视频功能(例如，视频检索、视频搜索、视频推荐，等等)。用户例如可以被呈现有基于由用户先前地查看的视频而由服务提供者系统提供的推荐视频的列表。为了确定该相似性，服务提供者系统使用机器学习生成一个到另一个可比较的视频表示。因此，在该示例中，在描述相应视频时的表示的准确性还驱动视频比较的准确性和所得到的推荐。

然而，用于生成视频的表示的传统机器学习技术被设计用于个体数字图像而非视频。例如，常规机器学习技术单独地生成视频的每个帧的表示，其然后被聚合形成视频整体的表示。因此，传统表示描述被包括在个体帧中的内容而不是这些帧彼此的关系(即，随时间在帧中发生的视频的改变)。因此，传统表示相反限于在个体帧中描述的内容。

进一步地，传统机器学习技术导致具有基于视频中的帧数可变的长度的表示。这是因为如上文所描述的传统技术依赖于被包括在个体帧中的每个帧中的内容的描述。因此，具有日益更大的帧数的视频还具有附加的更大的表示长度以描述这些视频。这导致生成这些表示的增加的计算资源使用。此外，表示的长度中的差异还通过服务提供者系统引入的彼此的表示相似性的确定并且因此还增加计算资源使用。

此外，传统技术通常使用数字图像技术来编码归因于视频中的每个帧的个体表示的视频帧之间的冗余信息。例如，视频的连续帧可以具有类似内容并且因此导致传统表示中的内容的类似冗余表示。该冗余信息在将视频彼此区分中很少使用，并且因此还由于被迫使解决该冗余信息的比较而通过服务提供者系统增加计算资源使用。因此，由服务提供者系统生成的视频的传统表示中的这些限制会限制这些系统准确地支持取决于这些表示的功能(诸如视频检索、视频搜索、视频推荐)的能力。

发明内容

描述了用于生成视频中的帧序列的紧凑视频特征表示的技术和系统。视频特征表示例如可以表示由视频展示的时间顺序动态并且具有固定的长度。时间顺序动态描述特征的值如何随时间改变(例如，以视频的帧的顺序)。因此，视频特征表示提供有洞察力的信息，其可以用于以支持作为固定长度的结果的有效比较的方式表征不同的类型的视频。例如，视频特征表示的长度独立于视频中的帧数。

在一个示例中，使用机器学习(例如，通过使用卷积神经网络)从视频的多个帧中的每个帧提取特征的值。然后基于这些所提取的特征(例如，通过使用递归神经网络)生成视频的时间顺序动态的视频特征表示。因此，视频特征表示是基于特征的数目而不是帧的数目，并且因此具有独立于视频中的帧数的长度。例如，最大值被维护为多个特征的每个特征的、针对视频中的多个帧已经达到的视频特征表示的一部分。时间戳还被维护为作为指示针对多个特征的每个特征何时达到最大值的视频特征表示的一部分。视频特征表示然后被输出作为基于视频特征表示确定视频与至少一个其他视频的相似性的基础。

本概述引入以在详细描述中下面进一步描述的简化形式的概念的选择。如此，本概述不旨在标识要求保护的主题的基本特征，其也不旨在被用作辅助确定要求保护的主题的范围。

附图说明

参考附图描述详细描述。附图中表示的实体可以指示一个或多个实体，并且因此可以对讨论中的单数或复数形式的实体可交换地进行参考。

图1是可操作以采用在此所描述的视频特征表示技术的示例实现中的数字媒介环境的示图。

图2描绘了更详细地示出图1的表示生成模块的操作的示例实现中的系统。