[发明专利]基于视频中人物动作获取人物动作片段的方法及系统

说明书

本发明公开了基于视频中人物动作获取人物动作片段的方法及系统，属于大数据处理技术领域，要解决的技术问题为如何快速获取视频中人物动作并给出动作准确的起始时间。包括如下步骤：将采集的视频流等时间间隔切分为多个视频片段，得到视频帧编号，并记录视频片段中视频帧的起始时间；基于视频片段对应的视图图像集合进行人物位置识别，得到视频图像中的人物以及每个人物对应的人物位置；以视频片段对应的视频图像集合以及每个人物的人物位置进行人物动作识别，得到每个人物的动作种类，并对每个人物进行编号，得到视频帧人物编号；基于人物特性向量对视频片段进行特征匹配，将同一个人物且具有相同动作类别的视频片段进行合并，得到新的视频片段。

技术领域

本发明涉及大数据处理技术领域，具体地说是基于视频中人物动作获取人物动作片段的方法及系统。

背景技术

随着AI技术的进步，视频动作识别在图片分类、目标检测的基础上得到了良好的发展。给一段视频片段，能够识别出该视频片段是否包含既定的人物动作。这种识别和视频的长短无关，即使视频有冗余部分，或者视频中人物动作只有部分，并不完整也会识别。对于该动作的准确起始位置，没有有效的识别界定。

如何快速获取视频中人物动作并给出动作准确的起始时间，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于视频中人物动作获取人物动作片段的方法及系统，来解决如何快速获取视频中人物动作并给出动作准确的起始时间的问题。

第一方面，本发明一种基于视频中人物动作获取人物动作片段的方法，包括如下步骤：

将采集的视频流等时间间隔切分为多个视频片段，对于每个视频片段，基于所述视频片段对应的视频图像构建视频图像集合，对所述视频片段进行编号、得到视频帧编号，并记录所述视频片段中视频帧的起始时间；

对于每个视频片段，基于所述视频片段对应的视图图像集合进行人物位置识别，得到视频图像中的人物以及每个人物对应的人物位置；

对于每个视频片段，以所述视频片段对应的视频图像集合以及每个人物的人物位置进行人物动作识别，得到每个人物的动作种类，并对每个人物进行编号，得到视频帧人物编号；

对于视频流中所有的视频片段，基于人物特性向量对视频片段进行特征匹配，将同一个人物且具有相同动作类别的视频片段进行合并，得到新的视频片段，并更新所述新的视频片段对应的视频帧编号、视频帧起始时间、视频帧人物编号以及每个视频帧编号对应的动作类别和人物特征向量。

作为优选，对于每个视频片段，以所述视频片段对应的视频图像集合为输入，通过基于YOLO算法构建的目标识别模型进行人物位置识别，得到视频片段中的人物和人物位置。

作为优选，对于每个视频片段，以所述视频片段对应的视图图像集合以及人物位置为输入、通过基于SLOWFAST算法构建的动作识别模型进行动作识别，得到每个人物的动作。

作为优选，对于视频流中所有视频片段，基于时间时序、对视频片段进行特征比对，将同一个人物且具有相同动作结果的视频片段进行合并，包括如下步骤：

对于视频片段中每帧视频图像中的人物，基于人物位置、通过孪生网络对视频图像中人物位置的图像区域进行特征提取，得到一个多维的特征向量作为人物特征向量，每个人物对应一个对应的人物特征向量；

基于视频片段的视频帧编号、视频帧起始时间、视频帧人物编号、视频帧人物编号对应的动作结果以及人物特征向量构建表征信息；