[发明专利]一种用于视频分类的方法、设备、介质及程序产品

权利要求书

1.一种用于视频分类的方法，其中，该方法包括：

将视频数据输入已训练的视频分类模型的转换层，输出所述视频数据对应的多个一维向量，其中，所述转换层包括全连接层，通过所述转换层将所述视频数据中的至少一帧图像切分为多个图像块，将所述多个图像块输入所述全连接层，输出得到所述多个一维向量；

将至少一个一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息，其中，所述自注意力层是基于自注意力机制构建的。

2.根据权利要求1所述的方法，其中，所述将所述视频数据中的至少一帧图像切分为多个图像块，包括：

根据所述视频数据对应的图像尺寸信息，确定所述视频数据对应的切分配置信息；

根据所述切分配置信息，将所述视频数据中的至少一帧图像切分为多个图像块。

3.根据权利要求2所述的方法，其中，所述切分配置信息包括以下至少一项：

切分数量信息；

切分尺寸信息。

4.根据权利要求2所述的方法，其中，所述根据所述视频数据对应的图像尺寸信息，确定所述视频数据对应的切分配置信息，包括：

对于所述视频数据中的至少一帧图像中的每帧图像，通过对该帧图像进行图像识别，根据图像识别结果，根据所述视频数据对应的图像尺寸信息及所述图像识别结果，确定该帧图像对应的切分配置信息。

5.根据权利要求4所述的方法，其中，所述图像识别结果包括该帧图像对应的图像复杂度信息。

6.根据权利要求1所述的方法，其中，所述多个图像块中相邻的至少两个图像块存在预定大小的重叠区域。

7.根据权利要求1所述的方法，其中，所述方法还包括：

从所述多个一维向量中确定至少一个目标一维向量；

其中，所述将至少一个一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息，包括：

将所述至少一个目标一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息。

8.根据权利要求7所述的方法，其中，所述从所述多个一维向量中确定至少一个目标一维向量，包括：

对所述多个一维向量执行去重处理，得到去重后剩余的至少一个目标一维向量。

9.根据权利要求7所述的方法，其中，所述从所述多个一维向量中确定至少一个目标一维向量，包括：

从所述多个一维向量中确定至少一个目标一维向量，其中，所述至少一个目标一维向量中的每个目标一维向量在所述多个一维向量中对应的相似一维向量的个数大于或等于预定的个数阈值。

10.根据权利要求9所述的方法，其中，对于所述每个目标一维向量，该目标一维向量及该目标一维向量所对应的相似一维向量对应的多个图像块呈现在所述至少一帧图像中的至少一个预定帧数的连续帧图像序列上。

11.根据权利要求1所述的方法，其中，所述将至少一个一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息，包括：

将至少一个一维向量输入所述视频分类模型的自注意力层，通过所述自注意力层对所述至少一个一维向量进行线性变换生成多个第一向量及第二向量，对所述多个第一向量进行归一化处理得到所述第二向量对应的自适应权重信息，根据所述第二向量及所述自适应权重信息，获得加权后的第二向量，通过对所述加权后的第二向量进行特征提取，输出所述视频数据对应的视频分类信息，其中，所述自注意力层是基于自注意力机制构建的。