[发明专利]数据处理方法和装置、电子设备及计算机可读存储介质

权利要求书

1.一种数据处理方法，包括：

获取视频数据；

对所述视频数据分别在色彩RGB通道和光流通道进行图像划分以分别生成多个图像帧和多个光流；

将所述多个图像帧与所述光流分别在色彩RGB通道和光流通道进行卷积处理以分别生成时间与空间的第一卷积结果和第二卷积结果，其中所述第一卷积结果包括从所述图像帧提取的第一动作特征，并且所述第二卷积结果包括从所述光流提取的第二动作特征；

对所述第一动作特征与所述第二动作特征分别进行色彩RGB分类处理和光流分类处理，以获得所述图像帧中的第一动作分类结果和所述光流中的第二动作分类结果；

对所述第一动作特征与所述第二动作特征进行融合处理以生成所述视频数据的第一融合动作提取结果。

2.根据权利要求1所述的数据处理方法，其中，所述数据处理方法进一步包括：

对所述第一卷积结果进行色彩RGB滤波处理以生成所述图像帧的第一注意力数据以及对应的第一注意力权重数据；

对所述第二卷积结果进行时间滤波处理以生成所述光流的第二注意力数据以及对应的第二注意力权重数据；

根据所述第一注意力数据、第一注意力权重数据与第二注意力数据、第二注意力权重数据对所述第一注意力数据与所述第二注意力数据进行融合处理以生成融合注意力数据。

3.根据权利要求2所述的数据处理方法，其中，所述数据处理方法进一步包括：

分别根据所述第一卷积结果和所述第二卷积结果与所述融合注意力数据来生成针对所述第一动作特征的第一抑制数据和针对所述第二动作特征的第二抑制数据，

对所述第一抑制数据进行色彩RGB分类处理，以生成第一抑制分类结果；

对所述第二抑制数据进行光流分类处理，以生成第二抑制分类结果；

根据所述第一抑制分类结果和所述第二抑制分类结果，生成融合抑制分类结果。

4.根据权利要求1所述的数据处理方法，其中，所述数据处理方法进一步包括：

根据所述融合抑制分类结果对所述第一融合动作提取结果进行背景影响抑制，以生成第二融合动作提取结果。

5.根据权利要求1所述的数据处理方法，其中，所述数据处理方法进一步包括：

将训练融合动作提取结果作为值掩码来与所述第一融合动作提取结果进行矩阵相乘处理，其中，所述训练融合动作提取结果是通过使用样本进行训练而获得的所述融合动作提取结果。

6.根据权利要求1所述的数据处理方法，其中，所述视频数据为视频播放长度大于预定阈值的第一视频数据，并且所述数据处理方法进一步包括：

使用训练融合动作提取结果将所述第一视频数据划分为多个第二视频数据，其中，所述训练融合动作提取结果是通过使用样本进行训练而获得的所述融合动作提取结果，并且其中，所述第二视频数据中的每一个包含有相似的动作；

根据所述相似的动作匹配动作标签以将匹配的动作标签分配包含有所述相似的动作的第二视频数据作为所述第二视频数据的伪标签。

7.一种数据处理装置，包括：

获取模块，用于获取视频数据；

划分模块，用于对所述视频数据分别在色彩RGB通道和光流通道进行图像划分以分别生成多个图像帧和多个光流；

第一卷积模块，用于将所述多个图像帧在色彩RGB通道进行卷积处理以生成时间与空间的第一卷积结果，其中所述第一卷积结果包括从所述图像帧提取的第一动作特征；

第二卷积模块，用于将所述光流在光流通道进行卷积处理以生成时间与空间的第二卷积结果，其中所述第二卷积结果包括从所述光流提取的第二动作特征；

第一分类器，用于对所述第一动作特征进行色彩RGB分类处理，以获得所述图像帧中的第一动作分类结果；

第二分类器，用于对所述第二动作特征进行光流分类处理，以获得所述光流中的第二动作分类结果；

第一融合模块，用于对所述第一动作特征与所述第二动作特征进行融合处理以生成所述视频数据的第一融合动作提取结果。