[发明专利]基于多类谱图和复合卷积神经网络的人体行为识别方法

说明书

本发明公开了一种基于多类谱图和复合卷积神经网络的人体行为识别方法，包括：通过步进频率连续波雷达对不同的人体行为采样，每次采样得到一矩阵；每个矩阵选取数个列向量，采用三种不同的时频分析方法构建谱图样本数据集；再构建一复合卷积神经网络并训练得到分类模型。本发明用具有不同特征表达的多类谱图作为输入数据，使得关于人体行为特征的表达是多样而全面的；采用本发明复合卷积神经网络进行特征提取，能充分提取单一谱图中的独立空间特征和不同谱图间的关联特征，使得特征提取充分而有效；将两种特征融合起来再送入分类器进行分类，使得分类器能充分利用不同种类的特征，提高判别正确率。

技术领域

本发明涉及一种人体行为识别方法，尤其涉及一种基于多类谱图和复合卷积神经网络的人体行为识别方法。

背景技术

目前，人体行为识别可通过视频监控、红外摄像、穿戴设备等方法获取数据。雷达能够克服许多其他方法所具有的缺点，且具有较强的穿透能力和良好的隐私保护性，因而得到广泛运用。通常对采集到的雷达回波信号进行时频分析，得到具有微多普勒特征的时频谱图，然后通过提取谱图中的人体行为特征进行识别分类。

其中，常用的时频分析方法包括希尔伯特-黄变换、短时傅里叶变换、小波变换、威格纳分布、平滑伪威格纳分布、汉宁核减少交叉项干扰分布等。不同的时频分析方法有各自的优缺点，得到的谱图具有不同的特征和参差的表达优劣性。

在对雷达回波信号进行时频分析得到时频谱图后，需要对谱图中的相关特征进行提取。目前的特征提取方法大致可分为两类：人工提取和基于深度学习的自动提取。人工提取主要提取图像中具象的可解释特征，如使用聚类颜色直方图提取图像中的色彩特征，利用边缘提取的方法提取图像中的几何特征。基于深度学习的自动提取方法则依靠各种神经网络提取特征，再通过分类器进行分类，不需要手动提取处理特征。

综上所述，深度学习的不断发展使得基于雷达的人体行为识别受到越来越多的关注。但是，现有的雷达人体行为识别存在以下问题：(1)各种时频分析方法各有优劣，难以找到最合适的时频分析方法，造成识别正确率较低。(2)由于噪声及对人员的专业知识要求较高等问题，采用人工提取特征的方法通常无法从原始图像中提取高级判别信息，且存在效率低下的缺陷。

发明内容

本发明的目的就在于提供一种克服目前人体行为识别方法中基于单时频分析的特征表达单一和基于单网络的方法特征提取不全面的问题、手动提取特征效率低下的问题、能充分提取单一谱图中的独立空间特征和不同谱图间的关联特征，能提高判别正确率的，基于多类谱图和复合卷积神经网络的人体行为识别方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于多类谱图和复合卷积神经网络的人体行为识别方法，包括以下步骤；

(1)通过步进频率连续波雷达对不同的人体行为进行n次采样，记录每次采样的人体行为类别，每次采样得到一人体行为样本，所述样本为N×M的矩阵，其中N为脉冲周期的个数，M为一个脉冲周期中步进频率的个数，n次采样得到一数据集X，

X＝{X_i∈R^N×M|i＝1,2,…,n}

所述R为复数，N×M为矩阵维数，X_i为X中第i个样本；

(2)每个X_i中选取S个列向量，得到n×S个列向量；

(3)构建谱图样本数据集，包括步骤(31)-(34)；

(31)从n×S个列向量中选取1个列向量，分别用短时傅里叶变换、汉宁核减少交叉项干扰分布、和平滑伪威格纳分布进行时频分析，得到三张时频谱图；

(32)将三张时频谱图分别调整至相同大小并归一化处理，得到与短时傅里叶变换、汉宁核减少交叉项干扰分布、和平滑伪威格纳分布对应的第一谱图样本、第二谱图样本和第三谱图样本，再将三张谱图堆叠成复合谱图样本，则1个列向量对应四份谱图样本；