[发明专利]一种用于视频分类的方法、设备、介质及程序产品

说明书

本申请的目的是提供一种用于视频分类的方法、设备、介质及程序产品，该方法包括：将视频数据输入已训练的视频分类模型的转换层，输出所述视频数据对应的多个一维向量，其中，所述转换层包括全连接层，通过所述转换层将所述视频数据中的至少一帧图像切分为多个图像块，将所述多个图像块输入所述全连接层，输出得到所述多个一维向量；将至少一个一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息，其中，所述自注意力层是基于自注意力机制构建的。

技术领域

本申请涉及通信领域，尤其涉及一种用于视频分类的技术。

背景技术

随着5G网络的普及，移动互联网行业基于视频内容的广告、社交和娱乐等应用出现了爆发式增长。因此对于互联网内容提供商，基于视频内容深度理解的推荐、广告投放和安全风控等技术对于提高产品的商业价值具有十分重要的意义。传统视频理解算法一般先使用基于图像的2D卷积神经网络提取视频帧特征，再对帧级特征进行聚合得到视频特征。

发明内容

本申请的一个目的是提供一种用于视频分类的方法、设备、介质及程序产品。

根据本申请的一个方面，提供了一种用于视频分类的方法，该方法包括：

将视频数据输入已训练的视频分类模型的转换层，输出所述视频数据对应的多个一维向量，其中，所述转换层包括全连接层，通过所述转换层将所述视频数据中的至少一帧图像切分为多个图像块，将所述多个图像块输入所述全连接层，输出得到所述多个一维向量；

将至少一个一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息，其中，所述自注意力层是基于自注意力机制构建的。

根据本申请的一个方面，提供了一种用于视频分类的第一设备，该第一设备包括：

将视频数据输入已训练的视频分类模型的转换层，输出所述视频数据对应的多个一维向量，其中，所述转换层包括全连接层，通过所述转换层将所述视频数据中的至少一帧图像切分为多个图像块，将所述多个图像块输入所述全连接层，输出得到所述多个一维向量；

将至少一个一维向量输入所述视频分类模型的自注意力层，输出所述视频数据对应的视频分类信息，其中，所述自注意力层是基于自注意力机制构建的。

根据本申请的一个方面，提供了一种用于视频分类的计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现如上所述任一方法的操作。

根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上所述任一方法的操作。

根据本申请的一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述任一方法的步骤。

与现有技术相比，本申请通过在视频分类模型的转换层中将视频数据切分为多个图像块，将该多个图像块输入全连接层，输出得到每个图像块对应的一维向量，并将至少一个一维向量输入视频分类模型的自注意力层，得到每个图像块对应的关注权重，然后将每个关注权重和其对应的一维向量进行加权求和，得到最后的加权后的视频数据，可以更快地更准确地从该加权后的视频数据中提取关注程度更高的视频特征，可以实现对视频数据中具有关键信息的图像帧或图像块进行定位，通过更具针对性地提取视频数据的视频特征，可以提高视频分类的速度和准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个实施例的一种用于视频分类的方法流程图；

图2示出根据本申请一个实施例的一种用于视频分类的第一设备结构图；