[发明专利]视频事件识别方法、装置、设备及存储介质

权利要求书

1.一种视频事件识别方法，包括：

获取待识别事件的视频；

从所述视频中抽取得到关键帧图像，以根据所述关键帧图像确定所述视频的预测动作；

根据所述预测动作查询对应的动作图谱，确定所述预测动作的多个属性；

根据所述预测动作、所述多个属性和所述关键帧图像，确定所述多个属性对应的属性值；

根据所述预测动作、所述多个属性和所述多个属性对应的属性值，构建事件图；

将所述事件图与预先构建的视频事件图谱中各事件进行匹配，将匹配得到的事件作为所述视频关联的事件。

2.根据权利要求1所述的识别方法，其中，所述从所述视频中抽取得到关键帧图像，以根据所述关键帧图像确定所述视频的预测动作，包括：

对所述视频进行抽帧处理，得到多帧视频帧图像；

从所述多帧视频帧图像中确定至少一帧关键帧图像；

根据所述至少一帧关键帧图像的动作，确定所述视频的预测动作。

3.根据权利要求2所述的识别方法，其中，所述从所述多帧视频帧图像中确定至少一帧关键帧图像，包括：

对所述视频帧图像进行特征提取，得到视频帧图像特征；

将所述视频帧图像特征与所述视频的全局图像特征进行特征融合，得到融合后的图像特征；

将所述融合后的图像特征输入分类器进行关键帧识别，得到至少一帧关键帧图像。

4.根据权利要求1所述的识别方法，其中，所述根据所述预测动作、所述多个属性和所述关键帧图像，确定所述多个属性对应的属性值，包括：

对所述预测动作和各属性分别进行编码，得到多个编码结果；

对所述关键帧图像进行特征提取，得到提取后的图像特征；

将所述多个编码结果和所述图像特征分别输入经过训练的注意力机制模型，得到所述多个属性对应的属性值。

5.根据权利要求1所述的识别方法，其中，所述根据所述预测动作、所述多个属性和所述多个属性对应的属性值，构建事件图，包括：

将所述预测动作作为事件图的第一层节点；

将所述多个属性分别与所述第一层节点相连，作为第二层节点；

将所述多个属性对应的属性值分别与各属性对应的第二层节点相连，作为第三层节点，以得到所述事件图。

6.根据权利要求1所述的识别方法，其中，所述将所述事件图与预先构建的视频事件图谱中各事件进行匹配，将匹配得到的事件作为所述视频关联的事件，包括：

获取所述事件图对应的图嵌入表示；

确定所述事件图对应的图嵌入表示与所述视频事件图谱中各事件的图嵌入表示之间的相似度；

将相似度最高的事件确定为所述视频关联的事件。

7.一种视频事件识别装置，包括：

获取模块，用于获取待识别事件的视频；

第一确定模块，用于从所述视频中抽取得到关键帧图像，以根据所述关键帧图像确定所述视频的预测动作；

第二确定模块，用于根据所述预测动作查询对应的动作图谱，确定所述预测动作的多个属性；

第三确定模块，用于根据所述预测动作、所述多个属性和所述关键帧图像，确定所述多个属性对应的属性值；

构建模块，用于根据所述预测动作、所述多个属性和所述多个属性对应的属性值，构建事件图；

处理模块，用于将所述事件图与预先构建的视频事件图谱中各事件进行匹配，将匹配得到的事件作为所述视频关联的事件。

8.根据权利要求7所述的识别装置，其中，第一确定模块，还包括：

处理单元，用于对所述视频进行抽帧处理，得到多帧视频帧图像；

第一确定单元，用于从所述多帧视频帧图像中确定至少一帧关键帧图像；

第二确定单元，用于根据所述至少一帧关键帧图像的动作，确定所述视频的预测动作。