[发明专利]基于语义级领域不变特征的跨域人体动作识别方法

说明书

本发明公开了基于语义级领域不变特征的跨域人体动作识别方法，利用由2个分类器构成的并行分类对抗学习网络架构来引导特征提取器从输入数据中提取具有领域不变性的语义级特征，提高跨域人体动作识别模型的分类性能；充分利用具有权值参数最大差异化的两个并行分类器来引导特征提取模块从两个不同的视角提取能刻画动作类别本质属性的语义级特征，同时结合对抗学习技术来学习具有领域不变性的特征，进一步增强模型的跨域动作识别性能。克服了现有技术仅从视觉级上提取领域不变特征而导致特征描述能差、模型泛化能力弱、适应性不强等模型性能下降的问题，从而具有更广的实用性和适应性等优点。

技术领域

本发明涉及视频分析技术领域，具体为基于语义级领域不变特征的跨域人体动作识别方法。本发明可用于将跨域视频中的人体动作数据进行分类识别。

背景技术

视频中的人体动作识别旨在对包含人体动作的图像序列进行处理分析，学习并理解其中人的动作和行为，进而建立起视频内容和动作类型之间的映射关系，使得计算机能够像人类一样去“理解”视频，并被广泛地应用于智能视频监控、公共安全与行为分析、人-机交互、人-机协作、医疗保健以及智能机器人等众多领域中。跨域人体动作识别是指在源域数据和目标域数据概率分布不一致但又相关的情况下，利用标记的源域数据来为目标域学习一个精确的分类预测模型。

目前的人体动作识别方法在解决跨域动作识别问题时主要依赖于传统的对抗学习网络，该网络主要由3部分构成：特征提取器、分类器和域判别器。由特征提取器和分类器构成的网络分支主要任务是从有标记的源域数据中蒸馏知识，以达到最小化源域数据分类误差的目的。由特征提取器和域判别器构成的网络分支主要任务是训练特征提取器提取出领域不变的特征来最大化判别器的误差。尽管对抗网络架构在跨域图像识别和动作识别中取得了较好的识别效果，但以这种方式所训练的特征提取器只能提取出领域不变的视觉级特征，仍不能从语义级别上刻画动作类别的本质属性，从而导致特征的描述能力不够强、判别力较弱，影响分类结果。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于语义级领域不变特征的跨域人体动作识别方法。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：基于语义级领域不变特征的跨域人体动作识别方法，利用由2个分类器构成的并行分类对抗学习网络架构来引导特征提取器从输入数据中提取具有领域不变性的语义级特征，提高跨域人体动作识别模型的分类性能；

具体步骤如下：

步骤1：输入RGB帧序列：

从有标签的源域与无标签的目标域数据集中输入RGB帧序列数据X_i，源域样本数为N_s，目标域样本数为N_T，i＝1,2,…,N_s∪T，源域数据对应的标签为y_j，j＝1,2,…,N_s；

步骤2：帧级特征提取：

帧级特征提取模块由通用特征提取子网络和动作识别特定任务特征变换子网络组成，从输入的帧序列中提取帧级特征G(X_i)，G()表示特征提取模块；

步骤3：特征时空聚集：

沿时间维度对提取的空间帧级特征进行均值池化聚集，形成视频级特征为第i个视频样本的特征序列的第t个等间隔采样帧，τ＝5为对每个样本的等间隔采样帧数；

步骤4：领域适配对抗学习模块：

对抗学习模块表示为D()，该模块由梯度反转层、域判别层和批归一化层组成，从该模块的输出来计算域对抗损失：