[发明专利]一种在红外视频下基于骨架序列的老人行为识别方法

说明书

本发明涉及一种在红外视频下基于骨架序列的老人行为识别方法，属于计算机视觉领域。该方法包括：S1：获取室内场景下具有老人行为图像的红外视频，并进行目标检测；S2：将检测到的目标输入到人体姿态估计网络，提取出关节点的位置和置信度，获取到老人的骨架信息；S3：根据检测时间先后顺序组合得到老人的骨架序列，再对骨架序列进行归一化处理；S4：将处理后的骨架序列数据输入到融合了SlowFast与Shift‑GCN的SFS‑GCN网络中，结合空间注意力机制，利用移位图卷积获取到老人行为的时空特征，最后利用Softmax分类器对老人的室内行为进行分类。本发明解决了现有的面向老人的行为识别方法实用性低的问题。

技术领域

本发明属于计算机视觉领域，具体涉及一种在红外视频下基于骨架序列的老人行为识别方法。

背景技术

当前，居家养老阶段如何有效解决老人的安全问题是一个亟待解决的问题。目前基于计算机视觉的行为识别方法已经成为行为识别的主流方法，但是，近年来基于计算机视觉的行为识别方法的研究主要集中在可见光领域，目前主要采用的方法有C3D网络和双流网络等模型。传统的基于RGB视频由于受到光照、遮挡和背景复杂等因素的影响，导致鲁棒性较低，而在居家场景下，存在光照变化较大和人体部分遮挡的情况，因此传统的基于RGB视频方式的行为识别方式在居家场景下具有很大的局限性，不能针对居家场景下老人的行为是进行有效的识别与处理。

综上，亟需一种针对老人居家环境下的光照变化较大以及人体部分遮挡等问题的行为识别方法。

发明内容

有鉴于此，本发明的目的在于提供一种在红外视频下基于骨架序列的老人行为识别方法，以解决目前行为识别算法不能有效的对居家场景下老人的行为进行有效识别的问题。本发明适用于光照较复杂的室内环境，对老人行为进行全天候识别，为老人的安全提供保障。

为达到上述目的，本发明提供如下技术方案：

一种在红外视频下基于骨架序列的老人行为识别方法，具体包括以下步骤：

S1：获取室内场景下具有老人行为图像的红外视频，并对老人的行为图像进行目标检测；

S2：将检测到的目标输入到人体姿态估计网络，提取出关节点的位置和置信度，获取到老人的骨架信息；

S3：根据检测时间先后顺序组合获取的骨架信息，得到老人的骨架序列，再对骨架序列进行归一化处理；

S4：将处理后的骨架序列数据输入到融合了SlowFast与Shift-GCN的SFS-GCN网络中，结合空间注意力机制，利用移位图卷积获取到老人行为的时空特征，最后利用Softmax分类器对老人的室内行为进行分类。

进一步，步骤S1中，采用YOLOV4-Tiny模型进行目标检测。

进一步，步骤S2中，人体姿态估计网络是采用轻量级OpenPose姿态估计模型来提取人体的骨骼关节点，根据实时获取的骨骼关节点信息来进行后续的老人行为识别工作。

其中，轻量级OpenPose姿态估计模型的网络结构是：采集的图像经过VGG19网络的前10层的特征提取后得到特征图F，然后将F输入到双分支的人体姿态估计网络，双分支网络的第一分支用以预测关键点置信图S，其中S＝(S₁,S₂,...,S_J)，J表示要检测的关节数，双分支网络的第二分支用以预测关节点亲和域L，其中L＝(L₁,L₂,...,L_C)，C表示要检测的关节对数；每回归一次S和L即为完成一轮迭代预测，通过连续的t∈(1,...,t)轮迭代，就能形成整个预测网络体系结构；每一阶段统计一次反馈损失函数，并把S、L及F联接起来，进而得到下一阶段预测训练的输入，在进行了n轮迭代之后，最终得到整个网络的关节点和关节亲和域；其中从stage2开始，每一阶段的预测结果可表示为：