[发明专利]视频数据分类方法、装置、电子设备及存储介质

权利要求书

1.一种视频数据分类方法，其特征在于，包括：

获取视频数据分别在RGB模态、光流场模态和动态图模态下的图像帧序列；

对所述RGB模态、所述光流场模态和所述动态图模态下的图像帧序列分别进行分类处理，确定各模态下的分类分数；

基于所述各模态下的分类分数确定所述视频数据的目标分类结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述各模态下的分类分数确定所述视频数据的目标分类结果包括：

通过预先设置的处理函数对所述各模态下的分类分数进行计算，确定所述视频数据属于各分类类型的目标分类分数；

将目标分类分数最大值对应的分类类型确定为所述视频数据的目标分类结果。

3.根据权利要求2所述的方法，其特征在于，所述预先设置的处理函数为均值函数或加权函数。

4.根据权利要求1所述的方法，其特征在于，所述获取视频数据分别在RGB模态、光流场模态和动态图模态下的图像帧序列包括：

基于视频数据提取RGB模态下的图像帧序列；

基于所述RGB模态下的图像帧序列中提取光流场信息和动态图信息，基于所述光流场信息形成光流场模态下的图像帧序列，基于所述动态图信息形成动态图模态下的图像帧序列。

5.根据权利要求1所述的方法，其特征在于，所述对所述RGB模态、所述光流场模态和所述动态图模态下的图像帧序列分别进行分类处理，确定各模态下的分类分数包括：

将所述RGB模态、所述光流场模态和所述动态图模态下的图像帧序列分别输入至预先训练的类别提取模型，获取所述类别提取模型输出的各模态下的分类分数；其中，所述类别提取模型为分别基于各模态下的样本数据和分类标签训练得到的，具有分类功能的网络模型。

6.根据权利要求5所述的方法，其特征在于，所述类别提取模型包括特征提取子模型和分类子模型；

其中，所述将所述RGB模态、所述光流场模态和所述动态图模态下的图像帧序列分别输入至预先训练的类别提取模型，获取所述类别提取模型输出的各模态下的分类分数，包括：

基于所述特征提取子模型提取任一模态下图像帧序列的特征信息；

基于所述分类子模型对所述任一模态下图像帧序列的特征信息进行分类处理，得到任一模态下图像帧序列属于各分类类型的分类分数。

7.根据权利要求5所述的方法，其特征在于，所述类别提取模型为RESNET101网络模型。

8.一种视频数据分类装置，其特征在于，包括：

图像帧序列获取模块，用于获取视频数据分别在RGB模态、光流场模态和动态图模态下的图像帧序列；

分类分数确定模块，用于对所述RGB模态、所述光流场模态和所述动态图模态下的图像帧序列分别进行分类处理，确定各模态下的分类分数；

目标分类结果确定模块，用于基于所述各模态下的分类分数确定所述视频数据的目标分类结果。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的视频数据分类方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在有计算机处理器执行时用于执行如权利要求1-7中任一所述的视频数据分类方法。