[发明专利]智能微波手语识别方法

权利要求书

1.一种智能微波手语识别方法，其特征是，利用信号源对手势进行照射，再通过接收机将带有手语特征的微波数据传入神经网络，通过神经网络对不同手语的微波特征进行学习和记忆，并以成像或直接分类的方式实现手语识别；包括如下步骤：

1)对目标手势进行照射，得到微波信号，形成含有手势的信息并接收；包括：

11)信号源发射微波信号，目标手势对微波信号进行散射；

12)接收机接收散射数据；

2)基于残差网络架构对CNN进行改进，构建复数卷积神经网络complex-valued CNN，并对complex-valued CNN网络进行训练和优化；包括：

21)所述complex-valued CNN的输入端采用双通道输入，分别对应微波信号数据的实部和虚部，与微波信号的复数特性匹配；

22)采用优化算法进行网络优化；选择激活函数作为非线性单元；

23)在每层激活函数前加入批量归一化层，以防止过拟合；

3)利用训练好的神经网络complex-valued CNN，实现对微波信号直接进行分类识别；或将微波信号映射成光学图像，再根据图像和语义的一一对应关系进行识别；达到智能微波识别手语的目的；包括：

A.建立微波信号与对应类别的映射关系，构建微波信号分类网络，实现所述对微波信号直接进行分类识别；所述微波信号分类网络的损失函数表示为式(1)：

其中，Loss为分类网络的损失函数，通过不断减小此函数值，完成网络中权重与偏置的更新与优化；N为每次训练的样本数；S_j代表神经网络的输出端经分类函数进行分类后得到的第j个值，该值对神经网络的生成图像进行规范化；Y是一个形状为1*T的向量，T为手语的类别数目，在向量Y中只有元素Y_j为1，1≤j≤T；其余元素均为0；

B.建立微波信号与光学图像的映射关系，构建微波信号成像网络，将微波信号映射成光学图像，再根据图像和语义的对应关系进行手语识别；所述微波信号成像网络的损失函数表示为式(2)：

其中，L_MSE代表成像网络中生成图像与真实图像之间的误差值；X为输入的微波数据，G(X)为神经网络的生成图像；W、H分别为图像的横向、纵向像素值；G(X)的像素值与真实光学图像Y相同；通过不断缩小L_MSE值，得到目标图像。

2.如权利要求1所述的智能微波手语识别方法，其特征是，步骤1)具体通过搭建智能微波手语系统获得原始手势数据；包括：

将有源阵列天线作为信号发射源对目标手势进行照射，形成的含有手势信息的散射波被接收机接收；或者；

通过超材料对任意信号源的微波信号进行聚焦再对目标手势照射，再由接收机接收包含有手势特征的信号。

3.如权利要求2所述的智能微波手语识别方法，其特征是，在步骤1)中，对现场可编程超材料进行编码控制，实现微波信号的聚焦。

4.如权利要求1所述的智能微波手语识别方法，其特征是，步骤22)具体采用adam算法进行网络优化；具体选用relu激活函数作为非线性单元。

5.如权利要求1所述的智能微波手语识别方法，其特征是，步骤3)的A中，具体采用softmax_cross_entropy损失函数对微波信号分类网络进行优化训练。

6.如权利要求1所述的智能微波手语识别方法，其特征是，步骤3)的B中，微波信号成像网络采用基于U-NET的双通道Pixel-GAN架构；生成网络由一个复数卷积层和八个残差网络模块串联而成。

7.如权利要求6所述的智能微波手语识别方法，其特征是，八个“残差”模块中，前四个模块的最小结构单元为“批量归一化层-relu激活函数-Conv层”，后四个模块的最小单元结构为“批量归一化层-relu激活函数-Convt层”。

8.如权利要求7所述的智能微波手语识别方法，其特征是，具体通过MSE损失函数优化训练微波信号成像网络。