[发明专利]基于骨架和视频特征融合的行为分类方法

说明书

本发明属于计算机图像处理技术领域，具体为一种基于骨架和视频特征融合的行为分类方法。本发明方法包括：对已有的人类行为视频数据进行预处理，通过人体检测模型和OpenPose分别获取对应的人体检测框和人体骨架数据，作为深度学习模型的训练数据；其中视频数据和人体检测框数据作为前景与背景特征融合网络的输入，骨架特征作为个体与群体特征融合网络的输入；两个网络的输出结果进行平均为最终分类结果；接着对训练集进行监督式学习，得到泛化的深度学习模型；然后，对识别的视频进行和模型训练时一样的预处理，然后作为输入，放进预先训练好深度学习模型里，就能得到行为分类的结果。

技术领域

本发明属于计算机图像处理技术领域，具体涉及一种利用骨架特征和视频特征融合的行为分类方法。

背景技术

在计算机视觉任务中，行为识别是十分具有挑战性的领域。行为识别主要有两类研究方法，一类是基于RGB图像的行为识别，另外一类是基于骨架的行为识别。基于RGB的方法，其优点是拥有所有视觉层面上的信息，特征完备，但其缺点是场景过于丰富，而人体姿态在不同的相机角度下变化太大，模型无法完全理解人体姿态语义信息，可能学习到更多的背景特征。基于骨架的方法，其优点人体姿态结构清晰，天然的图模型，对相机视角变化和背景不敏感，特征聚焦在人体。但其缺点也很明显，没有其他物体和背景相关特征，导致当人体与物体进行交互时，往往很难识别其行为类别。因此可以通过将视频特征与骨架特征相融合，以解决单一特征不鲁棒的缺点。

发明内容

本发明的目的在于提供一种鲁棒性好的将视频与骨架特征融合的行为分类方法。

本发明提供的将视频与骨架特征融合的行为分类方法，是基于深度学习的；基本步骤为：对已有的人类行为视频数据进行预处理，通过人体检测模型和OpenPose^[1]分别获取对应的人体检测框和人体骨架数据，作为深度学习模型的训练数据；其中视频数据和人体检测框数据作为前景与背景特征融合网络的输入，骨架特征作为个体与群体特征融合网络的输入；两个网络的输出结果进行平均为最终分类结果；接着对训练集进行监督式学习，得到泛化的深度学习模型；然后，对识别的视频进行和模型训练时一样的预处理，然后作为输入，放进预先训练好深度学习模型里，就能得到行为分类的结果。

本发明提出的基于骨架和视频特征融合的行为分类方法，具体步骤如下：

(1)获取深度学习的训练数据；

(2)训练深度学习模型；

(3)用训练好的模型对视频进行行为分类。

步骤(1)中所述获取深度学习训练数据的具体流程为：

(11)首先处理视频数据；所有的视频数据都按30FPS处理，所有视频缩放至256×256，并同时从视频中随机抽取一段视频帧，长度为T，采样率为2(即每隔一帧采样一次)；

(12)用ResNet-101-FPN为骨干的Faster-RCNN^[2]模型对流程(11)中处理好的视频数据进行人体检测，得到人体检测框；该ResNet-101-FPN为骨干的Faster-RCNN模型是在ImageNet和COCO人体关键点数据集上预训练得到的；

(13)对流程(12)中获取的人体检测框数据，在每个人体框内使用OpenPose的2D姿态估计来获取骨架数据，其数据结构为18个关节的2D空间坐标。

步骤(2)中所述训练深度学习模型，具体包括：

对于视频数据使用前景与背景特征融合网络进行训练；所述前景与背景特征融合网络是由3DCNN网络提取的背景特征与人体检测框内的前景特征进行融合的网络，其中3DCNN网络使用SlowFast^[3]网络；