[发明专利]一种基于多流三维自适应图卷积的人体行为识别方法

说明书

本发明公开了一种基于多流三维自适应图卷积的人体行为识别方法，包括：1)采集包含人体的视频，构建训练集；2)利用训练集构建自适应空间域注意力矩阵SAM和自适应时间域注意力矩阵TAM；3)构建自适应空间域注意力图卷积模块ASAGCM、自适应时间域注意力图卷积模块ATAGCM、三维时空域图卷积模块GCN‑3d；4)构建自适应图卷积层；5)利用自适应图卷积层构建自适应图卷积网络；6)利用自适应图卷积网络构建多流三维自适应图卷积网络；7)利用训练集训练多流三维自适应图卷积网络；8)利用训练后的多流三维自适应图卷积网络对视频中的人体进行行为识别。通过本发明可有效提升人体行为种类识别的准确度，为各种计算机视觉处理应用打下了良好的基础。

技术领域

本发明涉及图像模式识别和深度神经网络的技术领域，尤其是指一种基于多流三维自适应图卷积的人体行为识别方法。

背景技术

目前，视频中的人体行为识别是目前计算机视觉领域中最活跃的研究主题之一，它在智能视频监控、人机交互、基于内容的视频检索、虚拟现实等方面具有广泛的应用前景和潜在经济价值。

传统的行为识别算法多用RGB视频作为输入，但当RGB视频中背景动态干扰较多，光照不稳定，噪声严重时，传统行为识别算法的效果会受到影响。近年来，与传统的使用RGB视频进行识别的方法相比，基于骨架的行为识别因其对动态环境和复杂背景的适应性强而越来越受到关注。

提取视频中人体骨架关节为顶点，其在人体中的自然连接为边作为行为识别算法输入能大大降低视频中的环境干扰对算法识别率的影响。现有的基于骨架的行为识别算法输入的骨架连接是根据人体自然连接定义的，没有充分利用骨架关节之间的信息，也没有充分利用关节的前后帧信息，同时对于时间域和空间域信息的利用较为独立，没有充分将关节之间的时空信息有效结合，因此急需提出一种自适应调节骨架连接并且充分融合空间时间信息的自适应图卷积识别方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多流三维自适应图卷积的人体行为识别方法，该方法通过搜集大量视频中人体行为的骨架数据，并基于自适应图卷积网络技术，充分结合了原本孤立的骨架时空域相关性信息，实现了有效识别视频中人体行为的目的。

为实现上述目的，本发明所提供的技术方案为：一种基于多流三维自适应图卷积的人体行为识别方法，包括以下步骤：

1)采集包含人体的视频，标注视频中人体的骨架信息和行为类别，构建训练集；

2)利用训练集构建自适应空间域注意力矩阵SAM和自适应时间域注意力矩阵TAM；

3)利用自适应空间域注意力矩阵SAM构建自适应空间域注意力图卷积模块ASAGCM，利用自适应时间域注意力矩阵TAM构建自适应时间域注意力图卷积模块ATAGCM；构建三维时空域图卷积模块GCN-3d；

4)利用自适应空间域注意力图卷积模块ASAGCM、自适应时间域注意力图卷积模块ATAGCM和三维时空域图卷积模块GCN-3d构建自适应图卷积层；

5)利用自适应图卷积层构建自适应图卷积网络；

6)利用自适应图卷积网络构建多流三维自适应图卷积网络；

7)利用训练集训练多流三维自适应图卷积网络；

8)利用训练后的多流三维自适应图卷积网络对视频中的人体进行行为识别。

进一步，在步骤1)中，利用摄像头拍摄包含不同人体行为的视频，其视角要求为从人体正面拍摄，并将人体放在画面正中区域；

利用OpenPose算法检测视频中的人体骨架关键点，利用分区策略构建训练集，包括以下步骤：

1.1)提取人体骨架关键点