[发明专利]一种行为识别方法及装置

权利要求书

1.一种行为识别方法，其特征在于，预先设置至少两个行为类别，包括：

将待识别视频分为至少两个视频片段；

针对每个所述视频片段，执行：提取当前视频片段的关键帧、堆叠光流和连续帧静态图像；根据所述关键帧对所述当前视频片段进行行为识别，确定所述当前视频片段的每个所述行为类别的第一评分，根据所述堆叠光流对所述当前视频片段进行行为识别，确定所述当前视频片段的每个所述行为类别的第二评分，根据所述连续帧静态图像对所述当前视频片段进行行为识别，确定所述当前视频片段的每个所述行为类别的第三评分；

根据每个所述视频片段的每个所述行为类别的第一评分，确定所述待识别视频的每个所述行为类别的空间流评分；根据每个所述视频片段的每个所述行为类别的第二评分，确定所述待识别视频的每个所述行为类别的时间流评分；根据每个所述视频片段的每个所述行为类别的第三评分，确定所述待识别视频的每个所述行为类别的3D评分；

根据所述待识别视频的每个所述行为类别的所述空间流评分、每个所述行为类别的所述时间流评分和每个所述行为类别的所述3D评分，生成所述待识别视频的每个所述行为类别的最终评分。

2.根据权利要求1所述的方法，其特征在于，

进一步包括：

预先设置所述空间流评分的权重、所述时间流评分的权重和所述3D评分的权重；

所述根据所述待识别视频的每个所述行为类别的所述空间流评分、每个所述行为类别的所述时间流评分和每个所述行为类别的所述3D评分，生成所述待识别视频的每个所述行为类别的最终评分，包括：

针对每个所述行为类别，执行：根据当前行为类别的所述空间流评分、所述当前行为类别的时间流评分、所述当前行为类别的3D评分、所述空间流评分的权重、所述时间流评分的权重和所述3D评分的权重，利用公式四确定所述待识别视频的所述当前行为类别的最终评分，其中，所述公式四为：

O＝aS+bT+cM；

其中，O为所述待识别视频的所述当前行为类别的最终评分，S为所述当前行为类别的所述空间流评分，T为所述当前行为类别的时间流评分，M为所述当前行为类别的3D评分，a为所述空间流评分的权重，b为所述时间流评分的权重，c为所述3D评分的权重。

3.根据权利要求1所述的方法，其特征在于，

所述根据所述待识别视频的每个所述行为类别的所述空间流评分、每个所述行为类别的所述时间流评分和每个所述行为类别的所述3D评分，生成所述待识别视频的每个所述行为类别的最终评分，包括：

将所述待识别视频的每个所述行为类别的所述空间流评分、每个所述行为类别的所述时间流评分和每个所述行为类别的所述3D评分输入到训练完成的线性SVM分类器中，利用所述线性SVM分类器确定所述待识别视频的每个所述行为类别的最终评分；

其中，所述线性SVM分类器的核函数为：

k(a,a_i)＝((x·x_i)+1)^d，d为预设常数，d为正整数。

4.根据权利要求1-3中任一所述的方法，其特征在于，

所述根据所述关键帧对所述当前视频片段进行行为识别，确定所述当前视频片段的每个所述行为类别的第一评分，包括：

将所述当前视频片段的所述关键帧输入到训练完成的2D卷积的空间流模型中，利用所述2D卷积的空间流模型对所述当前视频片段的所述关键帧进行行为识别，确定所述当前视频片段的每个所述行为类别的第一评分；

和/或，

所述根据所述堆叠光流对所述当前视频片段进行行为识别，确定所述当前视频片段的每个所述行为类别的第二评分，包括：

将所述当前视频片段的所述堆叠光流输入到训练完成的2D卷积的时间流模型中，利用所述2D卷积的时间流模型对所述当前视频片段的所述堆叠光流进行行为识别，确定所述当前视频片段的每个所述行为类别的第二评分；

和/或，

所述根据所述连续帧静态图像对所述当前视频片段进行行为识别，确定所述当前视频片段的每个所述行为类别的第三评分，包括：

将所述当前视频片段的所述连续帧静态图像输入到训练完成的3D卷积模型中，利用所述3D卷积模型对所述当前视频片段的所述连续帧静态图像进行行为识别，确定所述当前视频片段的每个所述行为类别的第三评分。