[发明专利]一种基于红外图像的人体动作实时识别方法

权利要求书

1.一种基于红外图像的人体动作实时识别方法，其特征在于，包括以下步骤：

构建红外图像人体姿态提取网络与基于骨骼特征的动作识别网络SaNet；

获取红外行人图像数据集并对其进行预处理，基于预处理后的红外行人图像数据集训练红外图像人体姿态提取网络，得到人体动态骨骼特征图像；

分割提取出的人体动态骨骼特征图像的感兴趣区域序列，得到红外人体动态骨骼特征数据集，基于红外人体动态骨骼特征数据集训练动作识别网络SaNet；

获取待识别红外图像并对其进行预处理，基于红外图像人体姿态提取网络和动作识别网络SaNet对预处理后的待识别红外图像进行动作的分类与预测；

红外图像人体姿态提取网络结构由基础网络MS-ResNet与CenterNet构架的检测网络构成；

MS-ResNet的获取方式为：在ResNet101网络结构基础上，抽取卷积层3、卷积层4、卷积层5的特征图在三个尺度上的特征输出并融合，形成多尺度金字塔特征提取结构，再将首个卷积层内卷积核换为单通道卷积核，得到多尺度ResNet网络，即基础网络MS-ResNet。

2.根据权利要求1所述的一种基于红外图像的人体动作实时识别方法，其特征在于，红外图像人体姿态提取网络训练过程的损失函数定义如下：

L＝L_det+L_off

上式中，L_det表示中心点的散焦损失，用于训练检测目标边缘与中心点；L_off表示中心关键点偏移损失，用于预测偏移值。

3.根据权利要求1所述的一种基于红外图像的人体动作实时识别方法，其特征在于，基于骨骼特征的动作识别网络SaNet由2个卷积层、2个最大池化层、2个全连接层、1个ReLU激活函数、1个平滑层和Softmax分类函数构成，用以识别包括行走、骑车、跑步、跳跃、攀爬、下蹲在内的6种动作。

4.根据权利要求1所述的一种基于红外图像的人体动作实时识别方法，其特征在于，采用背景抑制方法对红外行人图像数据集和待识别红外图像进行预处理，对红外行人图像进行预处理的具体方法如下：

步骤A1：采用多尺度的图像细节提升方法提升红外行人图像中人体细节与背景的对比度，得到细节增强图像；细节增强图像的获取方式如下：

D＝(1-0.5×sgn(D₁))×D₁+0.5×D₂+0.25×D₃

上式中，D表示处理后的细节增强图像，sgn()表示符号函数，D₁、D₂、D₃分别表示三个尺度上的细节增强处理，D₁、D₂、D₃的计算方法分别为：

D₁＝I-B₁、D₂＝I-B₂、D₃＝I-B₃

其中，I表示原始图像，中间参数B₁、B₂、B₃的计算方法分别为：

B₁＝G₁*I、B₂＝G₂*I、B₃＝G₃*I

其中，G₁、G₂、G₃分别表示方差为1、2、4的高斯核；

步骤A2：使用双边滤波抑制细节增强图像中对比度低的细节部分，得到滤波图像；滤波图像的获取方式如下：

上式中，p表示图像当前像素点，q表示图像空间邻域像素点，I_p表示处理后得到的滤波图像，“‖‖”表示求取两个值之间的欧式距离，I_q表示输入的细节增强图像；G表示高斯核，对于两个参数取值，δ_s表示原始图像斜对角线长度的2％的数值，δ_r表示原始图像梯度值的中值或者平均数；W_p表示权重，其计算方法如下：

上式中，S表示图像空间域。