[发明专利]一种基于红外图像的人体动作实时识别方法

说明书

本发明公开了一种基于红外图像的人体动作实时识别方法，涉及人体动作识别技术领域，包括以下步骤：构建红外图像人体姿态提取网络与基于骨骼特征的动作识别网络；获取红外行人图像数据集并对其进行预处理，基于预处理后的红外行人图像数据集训练红外图像人体姿态提取网络，得到人体动态骨骼特征图像；分割人体动态骨骼特征图像的感兴趣区域序列，利用分割结果训练动作识别网络；获取待识别红外图像，基于红外图像人体姿态提取网络和动作识别网络对预处理后的待识别红外图像进行动作的分类与预测。本发明解决了现有的行为识别方法普遍针对可见光环境，在夜间无光或天气恶劣环境下通过红外图像进行人体行为动作识别存在实时性差、识别率低的问题。

技术领域

本发明涉及人体动作识别技术领域，具体涉及一种基于红外图像的人体动作实时识别方法。

背景技术

红外热成像系统成像原理为红外光谱辐射成像，不依赖光源，受天气影响小，探测距离远，在夜间全黑环境下进行目标识别与探测、搜救、军事、行车辅助等领域具有很强应用价值。随着机器视觉与人工智能的快速发展，其运用于红外热成像图像中图像复原、目标跟踪、目标检测与识别、语义分割等方向已取得一定突破。而在夜间无光环境下或/和气候恶劣条件下使用红外热成像对人体行为、动作进行智能化识别与分析的研究还较少，现有的大量行为识别、动作识别技术均基于可见光环境，对于全黑无光及雨雾天气等环境下的动作识别方法缺乏研究与实践。

在可见光环境下，具有代表性的行为动作识别方法主要包括ChristophFeichtenhofer等人提出的卷积双光流网络融合视频动作识别方法，Ali Diba等人提出的深时线性编码网络，视频动作识别的时空残差网络等方法，上述方法基本思想均是使用多帧视频信息作为训练输入，使用深度卷积网络提取动作信息，在可见光人体行为公开数据集上取得了良好的识别分类效果。

而对于红外热成像视频图像，具有以下特点：(1)图像分辨率较低，目前普遍主流为384×288分辨率；(2)红外图像中目标边缘特征相对可见光图像细节模糊；(3)缺乏色彩特征，红外图像为单通道图像，输出类似于灰度图。因此，提取多帧红外图像信息难度较高，会造成特征难以捕获，连续性差，上述行为动作识别方法对于红外图像的运用效果并不理想。

Sijie Yan等人提出了一种基于动态骨骼的动作识别方法ST-GCN(时空图卷积网络模型)，该方法提出动态人类骨骼通常能与其他模态相辅相成，传达重要信息，构造一个时空图。ST-GCN的输入是图节点的联合坐标向量，其中，人体关节对应图的节点，身体结构的连通性和时间上的连通性对应图的两类边，ST-GCN可被认为是一个基于图像的CNN模拟，输入由2D图像网格上的像素强度矢量形成。对输入数据应用多层的时空图卷积操作，可以生成更高级别的特征图，再通过标准的SoftMax分类器将其分类到相应的动作类别。整个模型用反向传播进行端对端方式的训练，方法的基本思想为使用姿态提取框架提取视频中人体动态骨骼特征输入后端卷积神经网络进行识别与分类，对于红外图像中人体动作识别具有很强的指导意义，但该方法依然建立于可见光环境下，提取多帧视频特征进行行为预测，且模型构架较为复杂，实时性有待提高。直接使用该方法进行红外图像中人体动作识别效果仍然存在不足。现有基于可见光环境的行为动作识别方法均不满足于实时红外图像人体动作识别需求，因此，设计一种实时的红外热成像人体动作识别方法意义重大。

发明内容

本发明的目的在于：为解决现有的通过红外图像进行人体行为动作识别方法识别出动作实时性差、识别率低的问题，提供了一种基于红外图像的人体动作实时识别方法。

本发明采用的技术方案如下：

一种基于红外图像的人体动作实时识别方法，包括以下步骤：

构建红外图像人体姿态提取网络与基于骨骼特征的动作识别网络SaNet；

获取红外行人图像数据集并对其进行预处理，基于预处理后的红外行人图像数据集训练红外图像人体姿态提取网络，得到人体动态骨骼特征图像；