[发明专利]数据处理方法和装置、电子设备及计算机可读存储介质

说明书

本申请公开了一种数据处理方法和装置、电子设备及计算机可读存储介质。该方法包括：获取视频数据；对所述视频数据分别在色彩RGB通道和光流通道进行图像划分以分别生成多个图像帧和多个光流；将所述多个图像帧与所述光流分别在色彩RGB通道和光流通道进行卷积处理以分别生成时间与空间的第一卷积结果和第二卷积结果；分别进行色彩RGB分类处理和光流分类处理，以获得所述图像帧中的第一动作分类结果和所述光流中的第二动作分类结果；进行融合处理以生成所述视频数据的第一融合动作提取结果。本申请实施例大大降低了机器学习训练所需的人工标注的工作量，实现了长视频的自动动作类别标注，并且增加了模型训练的样本，提高了训练的效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。

背景技术

随着视频技术的发展，越来越多的行业使用摄像头来捕获视频以实现对于目标区域或目标任务的异常检测和识别。在这样的应用中，已经提出了使用机器学习技术来自动地识别视频中的对象，但是随着人工智能技术的提高，人们已经不满足于仅能够识别出视频中的目标对象，而是希望能够进一步识别出视频中对象的动作，从而实现对于视频中场景或发生的事件状况的自动判断。

因此，需要一种能够从视频中识别动作的技术方案。

发明内容

本申请实施例提供一种数据处理方法和装置、电子设备及计算机可读存储介质，以解决现有技术中无法判断视频中场景或发生的事件的缺陷。

为达到上述目的，本申请实施例提供了一种数据处理方法，包括：

获取视频数据；

对所述视频数据分别在色彩RGB通道和光流通道进行图像划分以分别生成多个图像帧和多个光流；

将所述多个图像帧与所述光流分别在色彩RGB通道和光流通道进行卷积处理以分别生成时间与空间的第一卷积结果和第二卷积结果，其中所述第一卷积结果包括从所述图像帧提取的第一动作特征，并且所述第二卷积结果包括从所述光流提取的第二动作特征；

对所述第一动作特征与所述第二动作特征分别进行色彩RGB分类处理和光流分类处理，以获得所述图像帧中的第一动作分类结果和所述光流中的第二动作分类结果；

对所述第一动作特征与所述第二动作特征进行融合处理以生成所述视频数据的第一融合动作提取结果。

本申请实施例还提供了一种数据处理装置，包括：

获取模块，用于获取视频数据；

划分模块，用于对所述视频数据分别在色彩RGB通道和光流通道进行图像划分以分别生成多个图像帧和多个光流；

第一卷积模块，用于将所述多个图像帧在色彩RGB通道进行卷积处理以生成时间与空间的第一卷积结果，其中所述第一卷积结果包括从所述图像帧提取的第一动作特征；

第二卷积模块，用于将所述光流在光流通道进行卷积处理以生成时间与空间的第二卷积结果，其中所述第二卷积结果包括从所述光流提取的第二动作特征；

第一分类器，用于对所述第一动作特征进行色彩RGB分类处理，以获得所述图像帧中的第一动作分类结果；

第二分类器，用于对所述第二动作特征进行光流分类处理，以获得所述光流中的第二动作分类结果；

第一融合模块，用于对所述第一动作特征与所述第二动作特征进行融合处理以生成所述视频数据的第一融合动作提取结果。

本申请实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本申请实施例提供的数据处理方法。