[发明专利]一种视频分类方法、装置、设备和存储介质

说明书

本申请公开了一种视频分类方法、装置、设备和存储介质，涉及视频分类技术领域。具体实现方案为：对待分类视频进行抽帧处理，得到待分类视频的多个视频帧的帧数据；将待分类视频的多个视频帧的帧数据输入至预先训练出的特征抽取模型，获得待分类视频的特征数据；特征抽取模型包括TSM模型；TSM模型的各时序卷积层对本层的输入数据进行方向随机的时序偏移操作；将特征数据输入至预先训练出的序列模型，得到待分类视频的分类结果。本申请实施例特征抽取时引入TSM模型，在TSM模型的各时序卷积层对各层输入数据进行方向随机的时序偏移操作，有利于数据增广，使所抽取的特征数据更加丰富全面，进而提升了视频分类结果的准确度。

技术领域

本申请涉及数据处理技术，尤其涉及视频分类技术领域。

背景技术

视频分类技术，即通过分析、理解视频的图像特征、音频特征或者用户弹幕信息等，为视频输出具体的类别信息。

现有技术中，视频分类的实现方案主要包括以下三种：第一，将视频的关键帧的特征数据输入至分类模型，得到输出的分类结果；第二，将视频的标题/属性输入至分类模型，得到输出的分类结果；第三，从用户上传的标签中识别出视频的分类信息。

然而，上述三种方案均存在对视频分类的准确性较低的问题。

发明内容

本申请实施例提供了一种视频分类方法、装置、设备和存储介质，以提高视频分类结果的准确度。

第一方面，本申请提供了一种视频分类方法，包括：

对待分类视频进行抽帧处理，得到待分类视频的多个视频帧的帧数据；

将待分类视频的多个视频帧的帧数据输入至预先训练出的特征抽取模型，获得所述特征抽取模型输出的所述待分类视频的特征数据；其中，所述特征抽取模型包括时序转换模型TSM模型；所述TSM模型的各时序卷积层对本层的输入数据进行方向随机的时序偏移操作；

将所述特征数据输入至预先训练出的序列模型，获得所述序列模型输出的所述待分类视频的分类结果。

本申请实施例通过对待分类视频进行抽帧处理，得到待分类视频的多个视频帧的帧数据；将待分类视频的多个视频帧的帧数据输入至预先训练出的特征抽取模型，获得特征抽取模型输出的待分类视频的特征数据；其中，特征抽取模型包括TSM模型；所述TSM模型的各时序卷积层对本层的输入数据进行方向随机的时序偏移操作；将特征数据输入至预先训练出的序列模型，获得序列模型输出的待分类视频的分类结果。上述技术方案通过引入包括TSM模型的特征抽取模型，并在特征抽取过程中，在TSM模型的各时序卷积层对各层输入数据进行方向随机的时序偏移操作，有利于数据增广，便于挖掘各层输入数据中的隐藏信息，使所抽取的特征数据更加丰富、全面，进而提升了视频分类结果的准确度。

可选的，所述TSM模型中的各时序卷积层，针对本层的输入数据的前1/N的元素，进行方向随机的时序偏移操作，其中N的取值为2或3。

上述申请中的一个可选实施方式，在TSM模型中的各时序卷积层，针对本层的输入数据的前1/2或1/3的元素，进行方向随机的时序偏移操作，完善了TSM模型的使用机制，使得各时序卷积层的输入数据在时间维度上有更大的感受野。

可选的，在对待分类视频进行抽帧处理之前，所述方法还包括：

对第一样本视频进行抽帧处理，得到第一样本视频的多个视频帧的帧数据；

将第一样本视频的多个视频帧的帧数据以及第一样本视频的特征数据，作为样本数据，对初始建立的特征抽取模型进行训练。

上述申请中的一个可选实施方式，在对待分类视频进行抽帧处理之前，对第一样本视频进行抽帧处理，并将得到的帧数据以及第一样本视频的特征数据作为样本数据，对初始建立的特征抽取模型进行训练，从而完善了特征抽取模型的训练机制，为特征抽取模型的正常使用提供了保障。