[发明专利]适用于IMU数据的对抗性域适应人体行为识别方法及系统

说明书

本发明公开了适用于IMU数据的对抗性域适应人体行为识别方法及系统。该方法包括：获取训练数据集；基于目标用户特定设备筛选用户维度源域数据和设备维度源域数据；基于传感器特性进行特征提取；使用对抗性训练模块，在保证维度差异的情况下同时进行多维度的域不变特征提取训练和任务分类训练，对模型效果进行验证和测试；对目标域数据进行人体特征识别和分类。本发明利用用户维度和设备维度中源域设备与目标域设备的相关性来对用户新增特定设备进行领域自适应，以满足用户在新增设备情境中对人体行为识别的需求。

技术领域

本申请涉及迁移学习领域，特别涉及一种适用于IMU数据的对抗性域适应人体行为识别方法及系统。该域适应人体识别方法考虑涉及多维度源域的新增设备领域迁移问题，该问题旨在充分利用用户维度和设备维度相关信息，为用户的新增设备训练表现良好的人体行为识别模型，以满足用户在使用新设备少样本情景下对人体行为识别的需求。

背景技术

随着人工智能物联网技术的快速发展，各类传感器应用规模不断增大，移动终端设备越来越普及。人体行为识别(Human Activity Recognition，HAR)是移动设备一类常用的应用，通常使用移动设备中的惯性测量单元(Inertial measurement unit，IMU)数据进行处理分析，来进行人体行为识别任务。然而，利用深度学习进行人类行为识别，需要大量优质标注数据，进行大量传感器数据的标注释十分费时费力的，如何利用小样本设备数据进行人体行为识别任务具有一定挑战。

针对以上问题，有学者提出使用迁移学习领域自适应(Domain Adaptation，DA)方法来解决目标设备标记数据不足的问题。该类方法研究了有标签的源域数据和无标签的目标域数据共享相同的特征与类别，但具有不同的特征分布，在此情况下，如何进行源域数据对目标域数据标定的问题。

对于移动设备数据域适应的人体行为识别方法尚未得到充分的探讨，一些工作认为，对于用户身上的新增设备，使用用户身上已有的历史设备数据可以提供一些帮助，此工作利用用户身上历史设备，通过基于CNN的特征提取器提取不确定性特征，完成了同一用户身上不同设备间的迁移(Akbari A,Jafari R.Transferring activity recognitionmodels for new wearable sensors with deep generative domain adaptation[C]//Proceedings of the 18th International Conference on Information Processing inSensor Networks.2019:85-96.)，另一些工作则将每位源域用户身上的所有设备进行特征提取增强，以用户为源域单位，对身上不同位置的传感器设备进行特征提取建模，在用户间进行领域自适应迁移来为新的未知用户设备训练分类模型(Kang H,Huang Q,ZhangQ.Augmented Adversarial Learning for Human Activity Recognition with PartialSensor Sets[J].Proceedings of the ACM on Interactive,Mobile,Wearable andUbiquitous Technologies,2022,6(3):1-30.)。而Codats方法使用其他用户相同设备的数据作为源域数据，并引入了用户自身的动作类别比例作为弱监督项(Wilson G,Doppa J R,Cook D J.Multi-source deep domain adaptation with weak supervision for time-series sensor data[C]//Proceedings of the 26th ACM SIGKDD internationalconference on knowledge discoverydata mining.2020:1768-1778.)的方式来解决上述挑战。然而，在现有技术中，很少有工作将用户身上的其他设备历史数据与其他用户的相同设备数据同时利用起来，因为这两种维度的源域数据与目标域的相关性具有异质性。无视异质性使用领域自适应方法会造成负迁移的现象,即随着差异性较大的源域数据加入，会使得迁移学习模型性能降低。如何同时充分利用用户维度信息和设备维度信息来帮助特定移动设备进行人体行为识别具有较大的研究意义。