[发明专利]基于姿态识别和C3D网络的多人实时动作识别方法和系统

权利要求书

1.一种基于姿态识别和C3D网络的多人实时动作识别方法，其特征在于，包括以下步骤：

步骤1)通过摄像头采集原始视频；

步骤2)采用OpenPose算法对原始视频进行人体姿态估计，生成人体姿态模型视频；

步骤3)对人体姿态模型视频中的动作起始帧进行判断：

当连续a帧中的两两相邻帧关键点位置的变化程度都超过预先设定的阈值，则将其最后一帧判断为一个动态动作的动作起始帧，将之后的b帧图像作为初始数据；

当连续c帧中的两两相邻帧关键点位置的变化程度都小于等于预先设定的阈值，则判断当前处于一个静态的动作之中，将其最后一帧判断为一个静态动作的动作起始帧，将之后的b帧图像作为初始数据；

其中，a、b和c均为大于4的整数；

步骤4)对初始数据的每一帧图片进行裁剪，选取图片中人体部分的左右极值点之差和上下极值点之差中较大的一个差值作为边长组成正方形的边界框，并且将边界框扩大设定的像素得到最终边界框，通过最终边界框对图片进行裁剪，然后使用图像金字塔算法将边界框内的图片的尺寸调整为设定尺寸，所有裁剪后的图片组成的连续帧即为输入数据；

步骤5)将输入数据输入训练好的C3D网络模型，输出得到动作识别结果。

2.根据权利要求1所述的一种基于姿态识别和C3D网络的多人实时动作识别方法，其特征在于，所述步骤2)中，人体姿态模型视频以纯骨架结构的形式输出。

3.根据权利要求2所述的一种基于姿态识别和C3D网络的多人实时动作识别方法，其特征在于，所述步骤3)中，两两相邻帧关键点采用人体骨架的关节点。

4.根据权利要求1所述的一种基于姿态识别和C3D网络的多人实时动作识别方法，其特征在于，所述步骤5)中，C3D网络模型的训练包括以下步骤：

从数据库获取人体动作视频数据集，使用OpenPose算法对视频数据集进行人体姿态估计，生成人体姿态模型视频；

将人体姿态模型视频裁剪为160×160像素大小的视频块，在从中随机截取设定尺寸的b帧图像作为训练数据；

采用训练数据对C3D网络模型进行自适应训练。

5.根据权利要求1所述的一种基于姿态识别和C3D网络的多人实时动作识别方法，其特征在于，a的取值为5，b的取值为16，c的取值为20。

6.一种基于姿态识别和C3D网络的多人实时动作识别系统，其特征在于，包括：

采集模块，通过摄像头采集原始视频；

预处理模块，采用OpenPose算法对原始视频进行人体姿态估计，生成人体姿态模型视频；

判断模块，对人体姿态模型视频中的动作起始帧进行判断：当连续a帧中的两两相邻帧关键点位置的变化程度都超过预先设定的阈值，则将其最后一帧判断为一个动态动作的动作起始帧，将之后的b帧图像作为初始数据；当连续c帧中的两两相邻帧关键点位置的变化程度都小于等于预先设定的阈值，则判断当前处于一个静态的动作之中，将其最后一帧判断为一个静态动作的动作起始帧，将之后的b帧图像作为初始数据；其中，a、b和c均为大于4的整数；

裁剪模块，对初始数据的每一帧图片进行裁剪，选取图片中人体部分的左右极值点之差和上下极值点之差中较大的一个差值作为边长组成正方形的边界框，并且将边界框扩大设定的像素得到最终边界框，通过最终边界框对图片进行裁剪，然后使用图像金字塔算法将边界框内的图片的尺寸调整为设定尺寸，所有裁剪后的图片组成的连续帧即为输入数据；

识别模块，将输入数据输入训练好的C3D网络模型，输出得到动作识别结果。

7.根据权利要求6所述的一种基于姿态识别和C3D网络的多人实时动作识别系统，其特征在于，所述采集模块中，人体姿态模型视频以纯骨架结构的形式输出。

8.根据权利要求7所述的一种基于姿态识别和C3D网络的多人实时动作识别系统，其特征在于，所述判断模块中，两两相邻帧关键点采用人体骨架的关节点。