[发明专利]一种人体行为识别和身份认证方法、装置和电子设备

权利要求书

1.一种人体行为识别和身份认证方法，其特征在于，包括：

获取手势识别感知数据，所述手势识别感知数据是信道状态信息CSI感知数据；

对所述手势识别感知数据进行预处理，得到预处理后的手势识别感知数据；

对所述预处理后的手势识别感知数据进行时频变换，得到所述手势识别感知数据对应的时频图，所述时频图用于反映人体手势引起的信号波动信息；

将所述时频图输入预先训练好的多任务模型，通过所述多任务模型输出手势识别结果以及身份认证结果；其中，所述多任务模型是基于多个样本数据对多任务学习模型训练得到的，所述多任务学习模型是基于手势识别任务和身份认证双重任务而构建的，所述样本数据是无线设备与接收设备之间存在人体手势时而采集的CSI感知数据；多个样本数据至少包括不同人作出相同人体手势时而采集的多个CSI感知数据；

其中，得到所述预先训练好的多任务模型，包括：

获取多个样本数据，所述样本数据是无线设备与接收设备之间存在人体手势时而采集的CSI感知数据；多个样本数据至少包括不同人作出相同人体手势时而采集的多个CSI感知数据；获取各个样本数据分别对应的样本真值，所述样本真值用于表示所述样本数据中人体手势所对应的手势识别结果标签值和身份认证结果标签值；针对各个样本数据，对所述样本数据进行预处理，得到预处理后的样本数据；对所述预处理后的样本数据进行时频变换，得到所述样本数据对应的时频图；基于手势识别任务和身份认证双重任务构建多任务学习模型；所述多任务学习模型包括所述手势识别任务和所述身份认证双重任务分别对应的不同权重的损失函数；利用多个样本数据对应的时频图和所述样本真值，对所述多任务学习模型进行训练，得到训练好的多任务学习任务。

2.根据权利要求1所述的方法，其特征在于，所述CSI感知数据为其中，H(f,t)表示t时刻的CSI感知数据，N表示多径的数量，α_n表示路径n下的复衰落，τ_n表示路径n下的传播延迟，ε^(f,t)表示由时序对准偏移，采样频率偏移和载波频率偏移引起的相位误差，f表示频率，j表示虚数的虚部；

所述对所述手势识别感知数据进行预处理，得到预处理后的手势识别感知数据，包括：

通过将所述手势识别感知数据转换为稳态信号和动态信号，并提取所述动态信号，所述动态信号为所述预处理后的手势识别感知数据；其中，H_S(f)表示所有稳态信号的和，P_d表示动态信号集合；u表示用于积分的时间标识，D_n表示第n条路径的长度。

3.根据权利要求1所述的方法，其特征在于，所述对所述预处理后的手势识别感知数据进行时频变换，得到所述手势识别感知数据对应的时频图，包括：

通过短时傅里叶变换对所述预处理后的手势识别感知数据进行时频变换，得到多普勒效应DFS时频图。

4.根据权利要求1所述的方法，其特征在于，所述多任务模型包括：空间注意力层、时间注意力层和特定任务全连接层；

所述通过所述多任务模型输出手势识别结果以及身份认证结果，包括：

通过所述空间注意力层提取所述时频图对应的空间注意力特征，所述空间注意力特征包括带有权重的空间特征，所述空间特征是基于卷积神经网络CNN而提取得到的；不同权重表示所述时频图中不同位置具有不同关注级别的特征；

将所述空间注意力特征输入所述时间注意力层，通过所述时间注意力层提取对应的时间注意力特征，所述时间注意力特征用于表示所述时频图的时间序列长度；

将所述时间注意力特征输入所述特定任务全连接层，通过所述特定任务全连接层输出手势识别结果以及身份认证结果。

5.根据权利要求4所述的方法，其特征在于，所述空间注意力层包括卷积神经网络CNN；所述时间注意力层包括长短期记忆网络LSTM。