[发明专利]一种统一卷积与自注意力的轻量视频分类方法

权利要求书

1.一种统一卷积与自注意力的轻量视频分类方法，包括以下步骤：

获取待识别的目标视频图像；

将目标视频图像视为一系列令牌利用预训练的变换器模型框架提取视频特征，该变换器模型框架设置为多层，每层包含多个统一变换器模块，各层的输出经由特征聚合降低分辨率，其中每个统一变换器模块包含动态位置编码器、多头关系聚合器和前馈神经网络，所述动态位置编码器将目标视频图像的三维位置信息动态集成到所有的令牌中，以利用令牌的时空顺序进行视频建模；所述多头关系聚合器用于将每个令牌与其上下文令牌进行聚合；所述前馈网络用于对每个令牌进行单独信息增强；

基于所提取的视频特征对目标视频图像进行分类。

2.根据权利要求1所述的方法，其特征在于，所述动态位置编码器是三维深度分离卷积与残差网络，卷积过程使用零填充并且带重叠，以利用零填充结果定位边界上的令牌在目标视频图像中的绝对位置，所有令牌通过查询邻居来逐步编码它们的绝对时空位置信息。

3.根据权利要求1所述的方法，其特征在，对于各统一变换器模块，将其包含的多头关系聚合器划分为局部关系聚合器和全局关系聚合器，其中所述局部关系聚合器用于学习局部表示，所述全局关系聚合器用于学习全局表示。

4.根据权利要求3所述的方法，其特征在于，将所述多个统一变换器模块依据在整个模型框架中的位置划分为浅层部分和深层部分，其中，位于浅层部分的多头关系聚合器设置为局部关系聚合器，对于已知的锚定令牌，通过在设定的三维邻域中学习该锚定令牌与其他令牌之间的局部时空亲和度来学习局部关系，所述局部时空亲和度的值依赖于令牌之间的相对三维位置信息；位于深层部分的多头关系聚合器设置为全局关系聚合器，通过在全局比较所有令牌的内容相似性来设计令牌相似度，并共同编码所有令牌的时空关系。

5.根据权利要求1所述的方法，其特征在于，所述变换器模型框架的第一层采用第一下采样卷积进行特征聚合，卷积大小设置为3×2×2，步长为2×2×2，对于所述变换器模型框架的其他层，采用第二下采样卷积，卷积大小设置为1×2×2，步长为1×2×2。

6.根据权利要求4所述的方法，其特征在于，将所述变换器模型框架设置为四层，其中将前两层划分为浅层部分，将后两层划分为深层部分。

7.根据权利要求4所述的方法，其特征在于，将所述三维邻域设定为5×5×5。

8.根据权利要求1所述的方法，其特征在于，对于所述变换器模型框架的各层，所包含的统一变换器模块的数目不同。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种电子设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。