[发明专利]一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法

摘要

本发明涉及一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法，包括：对视频进行逐帧采样，在得到的多个连续的单帧图像上，在时间维度上堆叠为一定大小的图像立方体，作为三维神经网络的输入。在实现时，先训练基础的多分类三维神经网络模型，再从测试结果中挑选出部分类别的输入样本构建子数据集，然后在此子数据集基础上训练多个二分类模型，挑选出二分类结果最好的数个模型。最后，将这些模型学到的知识，利用迁移学习迁移到原多分类模型上，再重新训练迁移后的多分类模型，提高多分类识别准确率，实现高准确率的人体行为识别。

主权项

一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法，其特征在于实现步骤如下：步骤1、读取视频，将视频分解成诸多连续的单帧图像，然后将单帧图像进行堆叠，得到神经网络所需要的立方体结构，同时为每个立方体结构确定对应的行为分类标签；步骤2、根据人体行为分类数N，设计N分类三维卷积神经网络结构，用所得到立方体结构作为单元，输入到该三维卷积神经网络中，通过多层结构计算得到最终的M维向量输出，M＝N；步骤3、结合三维卷积神经网络的N维向量输出和输入样本对应的标签，构建损失函数，通过最小化损失函数，训练三维卷积神经网络；步骤4、训练好三维卷积神经网络后，从测试结果中挑选出部分类别对应的输入样本，构建总类别数为N′的子数据集，N′＜N，并在此子数据集基础上，利用步骤2中N分类三维卷积神经网络结构构建多个二分类模型，进行训练；步骤5、训练完这些二分类模型后，挑选出分类效果最好的部分模型，利用迁移学习将二分类模型学到的知识迁移到N分类模型上，重新训练N分类模型；步骤6、训练好最终的结合了迁移学习的N分类三维卷积神经网络后，即可用于人体行为识别。