[发明专利]生成数字媒介环境中的紧凑视频特征表示

权利要求书

1.一种在用于学习视频的紧凑特征表示的数字媒介环境中由至少一个计算设备实现的方法，所述方法包括：

由所述至少一个计算设备通过机器学习来确定由所述视频的多个帧展示的时间顺序动态，所述时间顺序动态描述所述多个帧随时间的一个到另一个的变化；

由所述至少一个计算设备根据所述时间顺序动态来生成视频特征表示，所述生成基于：

根据所述机器学习的多个特征中的每个特征的、针对所述视频中的所述多个帧已经达到的值；以及

指示针对所述多个特征中的每个特征何时达到所述值的时间戳；以及

由所述至少一个计算设备输出所述视频特征表示作为确定所述视频与至少一个其他视频的相似性的基础。

2.根据权利要求1所述的方法，其中所述值描述针对用于所述多个帧中的相应帧的相应特征的值之间的差的相对大小。

3.根据权利要求1所述的方法，其中确定时间顺序动态是将所述机器学习用作卷积神经网络的一部分而被执行的。

4.根据权利要求3所述的方法，其中所述卷积神经网络学习所述多个帧中的每个帧的隐特征的变化以描述所述时间顺序动态。

5.根据权利要求1所述的方法，其中所述生成是将所述机器学习用作递归神经网络的一部分而被执行的。

6.根据权利要求1所述的方法，其中所述视频特征表示的所述生成至少部分地基于使用机器学习而学习到的特征的值的变化。

7.根据权利要求1所述的方法，还包括：基于所述视频的所述视频特征表示和所述至少一个其他视频的视频特征表示，确定所述视频与所述至少一个其他视频的所述相似性。

8.根据权利要求7所述的方法，其中所述相似性的所述确定基于所述视频的所述视频特征表示与所述至少一个其他视频的所述视频特征表示之间的欧几里得或余弦距离。

9.一种在用于学习视频的紧凑特征表示的数字媒介环境中的系统，包括：

第一机器学习模块，其至少部分地被实现在至少一个计算设备的硬件中以从视频的多个帧中的每个帧提取特征的值；以及

第二机器学习模块，其至少部分地被实现在至少一个计算设备的硬件中以生成所述视频的时间顺序动态的视频特征表示，所述第二机器学习模块包括：

最大池化层，其用于确定针对所述视频中的所述多个帧的多个特征中的每个特征的最大值，以被包括作为所述视频特征表示的一部分；以及

时间保持层，其用于生成指示针对所述视频中的所述多个特征中的每个特征何时达到所述最大值的时间戳，以被包括作为所述视频特征表示的一部分。

10.根据权利要求9所述的系统，其中所述最大值描述针对用于所述多个帧中的相应帧的相应特征的值之间的差的相对大小。

11.根据权利要求9所述的系统，其中所述第一机器学习模块实现卷积神经网络。

12.根据权利要求11所述的系统，其中所述特征是隐特征。

13.根据权利要求9所述的系统，其中所述第二机器学习模块实现递归神经网络。

14.根据权利要求9所述的系统，还包括相似性确定模块，其至少部分地被实现在所述至少一个计算设备的硬件中，以基于所述视频的所述视频特征表示和至少一个其他视频的视频特征表示，来确定所述视频与所述至少一个其他视频的相似性。

15.根据权利要求14所述系统，其中所述相似性基于所述视频的所述视频特征表示与所述至少一个其他视频的所述视频特征表示之间的欧几里得或余弦距离。