[发明专利]基于毫米波雷达的端到端神经网络人体行为识别方法及其装置

说明书

本发明公开了一种基于雷达的端到端神经网络人体行为识别方法及其装置。所述方法包括：获取所述雷达采集到的人体行为的原始回波数据；根据所述原始回波数据进行复数时频变换网络得到目标时频信息，其中复数时频变换网络包括至少一个复数全连接层；将所述目标时频信息作为分类网络的输入，得到所述分类网络输出的人体行为分类结果。本发明通过复数时频变换网络代替STFT变换，将目标信号变换到时间‑频率域中，再利用二维卷积层和双向长短期记忆网络进行处理，提取目标时频信息的特征信息，实现对人体行为的分类识别。

技术领域

本发明涉及机器学习技术领域，尤其涉及基于雷达的端到端神经网络人体行为识别方法及其装置。

背景技术

随着物联网技术的不断发展，基于各类传感器（光学摄像头、红外、雷达、Wi-Fi等）的人体行为识别技术在智能家居、安检、老年人健康监测等多个场景的应用不断深入。当前基于毫米波雷达的人体行为识别技术主要是使用短时傅里叶变换方法（short-timeFourier transform ，STFT）对雷达原始回波数据进行预处理，在时间-频率域中表示信号，取信号模值后得到目标的时间-多普勒图（Time Doppler Map, TDM）；或使用距离-多普勒变换方法，对原始回波数据先后做距离维快速傅里叶变换（Fast Fourier Transform,FFT）和多普勒维FFT，得到目标的距离-多普勒图（Range Doppler Map, RDM），从而将雷达信号分类问题转换为图像分类问题。然后使用二维深度卷积神经网络（2-DimensionConvolution Neutral Network, 2D-CNN）对目标TDM或RDM进行特征信息提取，进而完成不同人体行为动作的分类。

目前使用神经网络进行特征提取和目标分类的主流方法不是端到端意义上的神经网络，仍依赖于原始数据的人工预处理过程，包括STFT，距离-多普勒变换等，导致计算流程长，计算效率低。将目标TDM或RDM作为样本输入的神经网络，分类效果受到STFT方法和距离-多普勒变换的限制，不能最大限度的学习目标的特征信息。TDM和RDM是信号取模值后的结果，忽略了目标信号的实虚部差异，且现有的神经网络基本为实数神经网络，没有很好的利用目标在运动过程中的相位变化信息。

发明内容

本发明提供了一种基于雷达的端到端神经网络人体行为识别方法及其装置能有效解决目前采用神经网络对雷达数据采用快速傅里叶变换忽略了目标信号的实虚部差异导致分类准确度不高的问题。

根据本发明的一方面，提供一种基于雷达的端到端神经网络人体行为识别方法，所述方法包括：获取所述雷达采集到的人体行为的原始回波数据；根据所述原始回波数据进行复数时频变换网络得到目标时频信息，其中复数时频变换网络包括至少一个复数全连接层；将所述目标时频信息作为分类网络的输入，得到所述分类网络输出的人体行为分类结果。

进一步地，所述获取所述雷达采集到的人体行为的原始回波数据包括：对所述原始回波数据进行滑窗式数据处理，得到多个窗口数据。

进一步地，所述根据所述原始回波数据进行复数时频变换网络得到目标时频信息包括：

确定所述复数时频变换网络，所述复数时频变换网络表达式为：

，其中，均为采样点数值大小，为角频率，为输入信号长度，为复数全连接层的输出，为目标回波信号即复数全连接层的输入，为矩形窗函数，是复数全连接层的权重系数，复数全连接层的偏置系数设为0。

进一步地，所述复数时频变换网络包括两个复数全连接层，所述复数时频变换网络中的两个复数全连接层分别对原始回波数据的距离维和多普勒维进行处理。

进一步地，所述将所述目标时频信息作为分类网络的输入，得到所述分类网络输出的人体行为分类结果包括：通过所述分类网络对所述目标时频信息进行特征提取以获得特性信息；根据所述特性信息输出所述分类结果。

进一步地，所述分类网络包括卷积块、双向长短期记忆网络和全连接层。