[发明专利]一种基于对抗式元学习的跨场景人体动作识别方法有效
申请号: | 202110923074.2 | 申请日: | 2021-08-12 |
公开(公告)号: | CN113642457B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 王昱洁;姚路;王英 | 申请(专利权)人: | 合肥工业大学 |
主分类号: | G06F18/2415 | 分类号: | G06F18/2415;G06F18/214;G06F18/10;G06N3/0475;G06N3/0464;G06N3/048;G06N3/047;G06N3/0985;G06N3/094;H04W4/33;H04W84/12;H04W88/14 |
代理公司: | 安徽省合肥新安专利代理有限责任公司 34101 | 代理人: | 陆丽莉;何梅生 |
地址: | 230009 安*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 对抗 学习 场景 人体 动作 识别 方法 | ||
1.一种基于对抗式元学习的跨场景人体动作识别方法,其特征是按如下步骤进行:
步骤1、选定两个室内环境布局不同的房间记为场景1和场景2,并分别部署一对WIFI收发设备:
所述WIFI收发设备中的WIFI信号的发送设备为带有a根天线的路由器,记为AP,WIFI信号的接收设备为带有b根天线的无线网卡,记为RP,且路由器AP和无线网卡RP间隔距离为l,从而在场景1和场景2中分别构成a×b个天线对用于发送和接收无线电信号,且每个天线对有z个可用的子载波;
步骤2、数据采集和预处理;
步骤2.1、原始数据采集:
在场景1中,利用WIFI收发设备按照采样时间t和采样速率p采集人体动作CSI信号,并将第w次采集的第c种类别且维度为(a×b,z,p×t)的三维人体动作CSI信号记为csic,w,其中,w∈[1,W],W表示采集的总次数,c∈[1,C],C表示人体动作的种类;
步骤2.2、数据预处理:
使用离散小波滤波方法对所述人体动作CSI信号csic,w进行降噪处理,再基于阈值分割方法对降噪处理后的人体动作CSI信号进行尺寸转换,得到预处理后的人体动作CSI信号并记为xc,w,并记第c种类别的人体动作CSI信号xc,w所对应的标签标注为yc,从而一共得到C×W个带标签的CSI样本(xc,w,yc);
步骤2.3、构建元学习训练任务集DTrain={Ti|i=1,2,…,I},I表示学习任务的总个数:
从所述人体动作CSI样本中随机选择N个动作类别的K个人体动作CSI样本构成第i个元学习任务Ti,并将第i个元学习任务Ti划分为支持集Tis和查询集Tiq,分别记为其中,表示第i个元学习任务支持集Tis中第n个动作类别的第k1个人体动作CSI样本;表示第i个元学习任务查询集Tiq中第n个动作类别的第k2个人体动作CSI样本,K1表示第i个元学习任务支持集Tis中每种类别的人体动作CSI样本数量,K2表示第i个元学习任务查询集Tiq中每种类别的人体动作CSI样本数量,K1+K2=K;
步骤3、构建对抗式元学习神经网络模型,包含:特征提取器模块、生成器模块、鉴别器模块和人体动作识别模块;
步骤3.1、所述特征提取器模块使用R1个卷积单元,且每个卷积单元依次包含一层Convolution卷积层、一层BatchNorm批归一化层和一层Leaky-ReLu激活函数层;且每个卷积单元的输出均连接一层DropOut层;
所述第i个元学习任务支持集Tis经过特征提取器模块的处理后,输出第i组人体动作CSI样本的特征向量表示得到的第i个元学习任务支持集Tis中第n个动作类别的第k1个人体动作CSI样本的特征向量;
步骤3.2、所述生成器模块依次使用R2个反卷积单元和R3个卷积单元,每个反卷积单元依次包含一层ConvolutionT反卷积层、一层BatchNorm批归一化层、一层Leaky-ReLu激活函数层和tanh层;
将第i组人体动作CSI特征向量Fis输入到所述生成器模块中依次进行处理,最后从tanh层中输出虚拟元学习任务支持集表示第i个元学习任务支持集Tis中第n个动作类别的第k1个虚拟人体动作CSI样本;
步骤3.3、所述鉴别器模块使用R4个卷积单元和R5个全连接层,并将所述第i个元学习任务支持集Tis和虚拟支持集Ti′s作为一个整体输入到所述鉴别器模块中,用于训练所述特征提取器模块、生成器模块、鉴别器模块的权值:
利用式(1)来计算损失函数LGAN,再使用随机梯度下降SGD优化方法以余弦退火学习率分别动态更新相应模块的权值,并在损失函数LGAN的值趋于稳定时完成训练,得到训练好的提取器模块、生成器模块、鉴别器模块;
式(1)中,和分别表示取自真实支持集Tis和虚拟支持集Ti′s的样本;λ表示超参数:惩罚因子,用于平衡均方误差损失项和对抗损失项,Tim表示取自真实支持集Tis和虚拟支持集Ti′s的样本混合数据集:用于约束生成器模块和鉴别器模块,加速收敛过程,PD表示鉴别器判别函数,判断样本属于哪一类动作类别;
步骤3.5、所述人体动作识别模块依次使用R6个卷积单元和R7个全连接层;
将第i个元学习任务支持集Tis输入训练好的生成器模块中,并生成新的虚拟支持集Ti″s后,得到增强支持集再输入所述人体动作识别模块中,用于训练所述人体动作识别模块的权值,并将第i个元学习任务查询集Tiq输入到所述人体动作识别模块中,得到样本的识别结果,并使用Softmax函数将所述识别结果转换为概率输出;
利用式(2)构建交叉熵损失LR,再使用随机梯度下降SGD优化方法以余弦退火学习率来动态更新所述人体动作识别模块的权值,并在交叉熵损失LR的值趋于稳定时完成训练,从而得到训练好的人体动作识别模型Fbase;
式(2)中,PR表示人体动作识别模型的分类器函数,用于判断样本属于哪一类动作类别;
步骤4:按步骤2的过程在场景2中采集人体动作CSI信号并进行数据预处理,且每个动作类别仅需采集1次,从而得到元学习优化任务数据集DTest={Uj|j=1,2,…,J},且第j个元学习优化任务Uj仅包含优化任务支持集Ujs={(x1,y1),(x2,y2),…,(xn,yn),…(xN,yN)},其中,(xn,yn)表示第j个元学习优化任务数据集中的支持集中第n个动作类别的人体动作CSI样本;
将优化任务支持集输入到所述训练好的人体动作识别模型Fbase,并利用二次梯度下降法来优化所述人体动作识别模型Fbase的参数,从而得到跨场景人体动作识别模型Foptimized,用于识别场景2中的动作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于合肥工业大学,未经合肥工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110923074.2/1.html,转载请声明来源钻瓜专利网。