[发明专利]基于姿态识别和C3D网络的多人实时动作识别方法和系统

说明书

本发明涉及基于姿态识别和C3D网络的多人实时动作识别方法和系统，方法包括通过摄像头采集原始视频；采用OpenPose算法对原始视频进行人体姿态估计，生成人体姿态模型视频；对人体姿态模型视频中的动作起始帧进行判断；对初始数据的每一帧图片进行裁剪；将输入数据输入训练好的C3D网络模型，输出得到动作识别结果。与现有技术相比，本发明具有识别速度快，检测精度高等优点。

技术领域

本发明涉及动作识别领域，尤其是涉及一种基于姿态识别和C3D网络的多人实时动作识别方法和系统。

背景技术

姿态估计和动作识别一直以来都是计算机视觉领域的研究的重点，但是姿态估计和动作识别解决的是两个不同层次的问题。姿态估计完成的工作是根据视频或者图像信息，在画面中识别人的位置并且建立起人体的姿态模型；而动作识别所完成的工作是根据一段视频或者图像对视频中的人所做的动作进行一个判断，由于动作往往是一串连续的行为，所以对于动作的识别需要多个连续帧图像进行输入。现有的动作识别方法在识别速度、设备要求和识别精度方面都还有许多提升的空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于姿态识别和C3D网络的多人实时动作识别方法和系统，实现快速的、多人的、实时的动作识别系统。

本发明的目的可以通过以下技术方案来实现：

一种基于姿态识别和C3D网络的多人实时动作识别方法，其特征在于，包括以下步骤：

步骤1)通过摄像头采集原始视频；

步骤2)采用OpenPose算法对原始视频进行人体姿态估计，生成人体姿态模型视频；

步骤3)对人体姿态模型视频中的动作起始帧进行判断：

当连续a帧中的两两相邻帧关键点位置的变化程度都超过预先设定的阈值，则将其最后一帧判断为一个动态动作的动作起始帧，将之后的b帧图像作为初始数据；

当连续c帧中的两两相邻帧关键点位置的变化程度都小于等于预先设定的阈值，则判断当前处于一个静态的动作之中，将其最后一帧判断为一个静态动作的动作起始帧，将之后的b帧图像作为初始数据；

其中，a、b和c均为大于4的整数；

步骤4)对初始数据的每一帧图片进行裁剪，选取图片中人体部分的左右极值点之差和上下极值点之差中较大的一个差值作为边长组成正方形的边界框，并且将边界框扩大设定的像素得到最终边界框，通过最终边界框对图片进行裁剪，然后使用图像金字塔算法将边界框内的图片的尺寸调整为设定尺寸，所有裁剪后的图片组成的连续帧即为输入数据；

步骤5)将输入数据输入训练好的C3D网络模型，输出得到动作识别结果。

进一步地，所述步骤1)中，人体姿态模型视频以纯骨架结构的形式输出。

进一步地，所述步骤3)中，两两相邻帧关键点采用人体骨架的关节点。

进一步地，所述步骤5)中，C3D网络模型的训练包括以下步骤：

从数据库获取人体动作视频数据集，使用OpenPose算法对视频数据集进行人体姿态估计，生成人体姿态模型视频；

将人体姿态模型视频裁剪为160×160像素大小的视频块，在从中随机截取设定尺寸的b帧图像作为训练数据；

采用训练数据对C3D网络模型进行自适应训练。

进一步地，a的取值为5，b的取值为16，c的取值为20。

一种基于姿态识别和C3D网络的多人实时动作识别系统，包括：