[发明专利]短视频事件分类方法、系统、电子设备及存储介质

说明书

本发明公开了一种短视频事件分类方法、系统、电子设备及存储介质，基于Transformer网络对短视频中的事件进行分类，短视频事件分类方法包括：短视频处理步骤：对短视频进行预处理获得短视频的多个特征向量及短视频的每一事件的起止位置；指引向量获取步骤：根据短视频的每一事件的起止位置获得对应事件的指引向量；分类步骤：根据指引向量及短视频的多个特征向量通过transformer网络进行特征学习后，输出对应每一事件的多标签分类结果；本发明将指引向量与transformer结构进行了融合，既能够实现统一的标准化输入又能够学习到事件特征之间的相关关系，解决了由于事件长度不一带来的双重问题并提升了分类效果。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于Transformer网络的短视频事件分类方法、系统、电子设备及存储介质。

背景技术

随着互联网社交平台的发展，海量的各种各样的媒体形式在互联网上传播。其中，短视频作为一种新兴的媒体在近些年迅速发展流行起来。在海量的短视频中，快速确定短视频的种类，将短视频按照一定的标准进行分类，是进行短视频内容分析的重要环节，是后续进行个性化推荐的重要前提。

事件分类有一个比较明显的问题，这个问题带来了此领域的两个难题。由于不同视频中的不同事件的时间长度不一致，导致不同的事件有着不同的特征长度，例如如果对视频每一秒钟抽取一条特征，那么一个二十秒的事件其特征长度为20，而一个三秒的事件其特征长度只有3。这会带来两个比较明显的问题：一是在进行分类算法训练时无法做到统一的标准化输入。二是特征长度的不同会带来算法学习上的无法聚焦。

现有技术中，大都采取以下方式：

1.将事件特征暴力平均的方法

这种方法的操作是将事件的特征全部进行加和处理，然后除以特征的长度，将这种经过加和后处理的1条特征送入分类器进行分类。其优点比较明显，无论是特征长度有多长，其最终在进入分类器时只有1条特征，满足了特征长度标准化的要求。但这种方法的缺点在于：无法学习特征间关系，暴力的进行特征的加和平均使网络无法学习到那些是有助于分类的重要特征那些是无关紧要的特征，对最后的分类结果不友好。

2.使用循环神经网络的方法

这种方法将事件的每一条特征逐次的送入到网络结构中，对所有的特征进行特征之间相关性的学习，最终得到最后的分类结果。这种方法会学习到事件特征之间的关系，能够做到更好的分类。但这种方法的缺点在于：无法进行统一的标准化输入，训练时每次只能接受一个事件，导致训练成本过高，很难满足实际需求。

因此亟需开发一种克服上述缺陷的基于Transformer网络的短视频事件分类方法、系统、电子设备及存储介质。

发明内容

针对上述问题，本申请实施例提供了一种基于Transformer网络的短视频事件分类方法、系统、电子设备及存储介质，以至少解决由于事件长度不一带来分类不准确的问题。

本发明提供一种短视频事件分类方法，其中，基于Transformer网络对短视频中的事件进行分类，所述事件分类方法包括：

短视频处理步骤：对短视频进行预处理获得所述短视频的多个特征向量及所述短视频的每一事件的起止位置；

指引向量获取步骤：根据短视频的每一所述事件的起止位置获得对应所述事件的指引向量；

分类步骤：根据所述指引向量及所述短视频的多个所述特征向量通过transformer网络进行特征学习后，输出对应每一所述事件的多标签分类结果。

上述的短视频事件分类方法，其中，所述短视频处理步骤包括：根据设定时间对所述短视频进行向量化处理获得多个所述特征向量，根据多个所述特征向量的编号确定每一所述事件的所述起止位置。

上述的短视频事件分类方法，其中，所述分类步骤包括：