[发明专利]基于3D卷积神经网络的动作识别方法和装置

权利要求书

1.一种基于神经网络的动作识别方法，其特征在于，所述方法包括：

将待识别视频输入训练好的第一三维神经网络模型进行处理，得到所述待识别视频的动作提取结果；

根据所述待识别视频的动作提取结果，确定所述待识别视频的动作实例检测结果，其中，动作实例检测结果包括待识别视频中确定出的各动作实例，动作实例包括具有时序特征的分解动作，多个动作实例组成动作类别；

将所述待识别视频输入训练好的第二三维神经网络模型进行处理，得到所述待识别视频的动作类别判别结果，其中，动作类别判别结果包括在待识别视频中提取出的动作类别特征；

根据所述待识别视频的动作实例检测结果和动作类别判别结果，确定所述待识别视频的动作类别。

2.根据权利要求1所述的方法，其特征在于，所述待识别视频的动作提取结果，包括；

所述待识别视频中每帧图像属于一个动作实例中的一个动作位置的第一概率，以及

所述待识别视频中的动作起始帧和动作结束帧。

3.根据权利要求2所述的方法，其特征在于，根据所述待识别视频的动作提取结果，确定所述待识别视频的动作实例检测结果，包括：

根据所述待识别视频中每帧图像的第一概率，以及所述待识别视频中的动作起始帧和动作结束帧，计算每帧图像中的动作检测框；

根据所述动作检测框计算每帧图像间的检测框匹配值；

根据所述检测框匹配值，确定所述待识别视频的动作实例检测框。

4.根据权利要求3所述的方法，其特征在于，所述待识别视频的动作类别判别结果，包括：

每帧图像上的像素所对应的动作类别概率。

5.根据权利要求4所述的方法，其特征在于，根据所述待识别视频的动作实例检测结果和动作类别判别结果，确定所述待识别视频的动作类别，包括：

在每帧图像上的像素所对应的动作类别概率中，确定所述动作实例检测框中的像素所对应的动作类别；

根据所述动作实例检测框中的像素所对应的动作类别，确定所述待识别视频的动作类别。

6.根据权利要求1所述的方法，其特征在于，将所述待识别视频输入训练好的第一三维神经网络模型进行处理，得到所述待识别视频的动作提取结果，包括：

将所述待识别视频输入训练好的二维神经网络模型，获取特征值；

将所述特征值输入训练好的第一三维神经网络模型进行处理，得到所述待识别视频的动作提取结果；

将所述待识别视频输入训练好的第二三维神经网络模型进行处理，得到所述待识别视频的动作类别判别结果，包括：

将所述待识别视频输入训练好的二维神经网络模型，获取特征值；

将所述特征值输入训练好的第二三维神经网络模型进行处理，得到所述待识别视频的动作类别判别结果。

7.一种基于神经网络的动作识别装置，其特征在于，包括：

第一三维识别模块，用于将待识别视频输入训练好的第一三维神经网络模型进行处理，得到所述待识别视频的动作提取结果；

动作提取结果处理模块，用于根据所述待识别视频的动作提取结果，确定所述待识别视频的动作实例检测结果；其中，动作实例检测结果包括待识别视频中确定出的各动作实例，动作实例包括具有时序特征的分解动作，多个动作实例组成动作类别

第二三维识别模块，用于将所述待识别视频输入训练好的第二三维神经网络模型进行处理，得到所述待识别视频的动作类别判别结果，其中，动作类别判别结果包括在待识别视频中提取出的动作类别特征；

动作类别确定模块，用于根据所述待识别视频的动作实例检测结果和动作类别判别结果，确定所述待识别视频的动作类别。

8.根据权利要求7所述的装置，其特征在于，所述待识别视频的动作提取结果，包括；

所述待识别视频中每帧图像属于一个动作实例中的一个动作位置的第一概率，以及

所述待识别视频中的动作起始帧和动作结束帧。