[发明专利]一种视频事件识别方法、系统、电子设备及介质

说明书

本发明实施例公开了一种视频事件识别方法、系统、电子设备及介质。该方法包括：获取待识别事件的目标视频片段，并根据所述目标视频片段确定与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息；基于与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息确定所述目标视频片段的视频事件特征；根据所述目标视频片段的视频事件特征确定与所述目标视频片段对应的视频事件信息。本发明实施例的技术方案，以实现对视频中事件的准确识别。

技术领域

本发明实施例涉及计算机处理技术领域，尤其涉及一种视频事件识别方法、系统、电子设备及介质。

背景技术

随着互联网的发展和移动设备的普及，近年来，针对视频内容理解的需求日益增加，而视频中的事件识别是视频理解的重要任务之一。相比针对场景或是物体等静态内容的识别，视频事件识别包含了更高维度的语义概念和更丰富的特征。事件识别是高层次的语义概念，更加多样而复杂，不同的概念与不同事件的相关性也存在差异。此外，事件常常由多模态的特征所构成，包含了人在特定场景与物体进行交互，场景、物体、动作以及声音等特征都会对事件造成影响。

然而，早期针对视频事件识别的研究主要集中在运用传统人工特征，主要包括运用视觉特征如SIFT、梯度直方图、空间兴趣点或光流直方图等。人工设计的特征表征能力较为有限，因此，限制了这些方法对于复杂的、大规模的视频的识别能力。

近年来，许多研究者针对视频事件识别采用神经网络进行了很多优化工作，但大多集中在场景或物体等单一模态任务的识别，单一的模型往往会忽略事件的多模态属性。

发明内容

本发明实施例提供一种视频事件识别方法、系统、电子设备及介质，以实现对视频中事件的准确识别。

第一方面，本发明实施例提供了视频事件识别方法，该视频事件识别方法包括：

获取待识别事件的目标视频片段，并根据所述目标视频片段确定与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息；

基于与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息确定所述目标视频片段的视频事件特征；

根据所述目标视频片段的视频事件特征确定与所述目标视频片段对应的视频事件信息。

进一步地，基于与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息确定所述目标视频片段的视频事件特征，包括：

将与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息输入到预设特征提取模型，输出与所述视频帧信息对应的视频帧特征、与所述光流图片信息对应的光流图片特征以及与所述音频信息对应的音频特征；

根据所述视频帧特征、所述光流图片特征和所述音频特征生成所述目标视频片段的视频事件特征；

其中，所述视频帧特征包括物体特征、运动特征和场景特征，所述光流图片特征包括运动特征，所述音频特征包括声音特征。

进一步地，根据所述视频帧特征、所述光流图片特征和所述音频特征生成所述目标视频片段的视频事件特征，包括：

获取所述视频帧特征的概念特征和内容特征、所述光流图片特征的概念特征和内容特征以及所述音频特征的概念特征和内容特征；

分别对所述视频帧特征的概念特征、所述光流图片特征的概念特征和所述音频特征的概念特征进行概念选择，将选择后的所述视频帧特征的概念特征、所述光流图片特征的概念特征和所述音频特征的概念特征分别与所述视频帧特征的内容特征、所述光流图片特征的内容特征以及所述音频特征的内容特征进行融合生成所述目标视频片段的视频事件特征。

进一步地，根据所述目标视频片段的视频事件特征确定与所述目标视频片段对应的视频事件信息，包括：