[发明专利]一种基于成像雷达的手势识别方法

权利要求书

1.一种基于成像雷达的手势识别方法，其特征在于，该方法包括以下步骤：

(1)采集待识别动态手势的雷达图像，将采集的图像构成一个矩阵A，矩阵A是一个(N*S*T)*(W*H)矩阵，矩阵A中包括了N种动态手势，每种动态手势有S个样本序列，每个样本序列由T张雷达图像构成，每张雷达图像包含W*H个像素，其中W为雷达图像的宽度，H为雷达图像的高度；

(2)采集任意手势的雷达图像，构成一个矩阵B，矩阵B是一个M*(W*H)的矩阵，其中，矩阵B中包含了M张雷达图像，每张雷达图像包含W*H个像素，W、H与步骤(1)中相同，其中W为雷达图像的宽度，H为雷达图像的高度；

(3)构建一个自编码-解码神经网络E，具体包括以下步骤：

(3-1)自编码-解码神经网络E的第一层为卷积神经网络，卷积神经网络的卷积核权重W1为一个L_w1*P_w1*Q_w1矩阵，其中，L_w1为该卷积核的通道数，P_w1为该卷积核的宽度，Q_w1为该卷积核的高度；

(3-2)自编码-解码神经网络E的第二层为池化神经网络，池化神经网络的卷积核权重W2为2*2矩阵；

(3-3)自编码-解码神经网络E的第三层为卷积神经网络，卷积神经网络的卷积核权重W3为一个L_W3*P_W3*Q_W3矩阵，其中，L_W3为该卷积核的通道数，P_W3为该卷积核的宽度，Q_W3为该卷积核的高度；

(3-4)自编码-解码神经网络E的第四层为池化神经网络，池化神经网络的卷积核W4为2*2矩阵；

(3-5)自编码-解码神经网络E的第五层为全连接神经网络，神经元个数为F5，神经元权重为W5；

(3-6)自编码-解码神经网络E的第六层为全连接神经网络，神经元个数为F6，神经元权重为W6；

(3-7)自编码-解码神经网络E的第七层为上采样神经网络，上采样神经网络的卷积核W7为2*2矩阵；

(3-8)自编码-解码神经网络E的第八层为卷积神经网络，卷积神经网络的卷积核权重W8为一个L_W8*P_W8*Q_W8矩阵，其中，L_W8为该卷积核的通道数，P_W8为该卷积核的宽度，Q_W8为该卷积核的高度；

(3-9)自编码-解码神经网络的第九层为上采样神经网络，上采样神经网络的卷积核W9为2*2矩阵；

(3-10)自编码-解码神经网络的第十层为卷积神经网络，卷积神经网络的卷积核权重W10为一个L_W10*P_W10*Q_W10矩阵，其中，L_W10为该卷积核的通道数，P_W10为该卷积核的宽度，Q_W10为该卷积核的高度；

(3-11)根据步骤(3-1)-(3-10)，得到自编码-解码神经网络E；

(4)向步骤(3-11)的自编码-解码神经网络E输入步骤(2)采集的任意手势雷达图像的矩阵B，输出为自编码-解码后的雷达图像E(B)；

(5)以损失函数B²-E(B)²达到最小值为训练目标，使用梯度下降法训练(3-11)的自编码-解码神经网络E，得到训练好的矩阵W1’、W2’，……W10’；

(6)使用步骤(5)中训练好的矩阵W1’、W2’、……W5’，构建一个特征提取神经网络C，具体包括以下步骤：

(6-1)特征提取神经网络C的第一层为卷积神经网络，卷积核为W1’；

(6-2)特征提取神经网络C的第二层为池化神经网络，卷积核为W2’；

(6-3)特征提取神经网络C的第三层为卷积神经网络，卷积核为W3’；

(6-4)特征提取神经网络C的第四层为池化神经网络，卷积核为W4’；

(6-5)特征提取神经网络C的第五层为全连接神经网络，神经元个数为F5，神经元权重为W5’；

(6-6)根据步骤(6-1)-步骤(6-5)，得到特征提取神经网络C；

(7)向步骤(6-6)的特征提取神经网络C中输入步骤(1)的矩阵A，得到特征矩阵CM，矩阵CM是一个(N*S*T)*(F5)的矩阵，其中包含步骤(1)的N种动态手势的特征，即每种动态手势有S个样本序列，每个样本序列有T个雷达图像，T为步骤(1)的雷达图像张数，每个雷达图像被提取出了F5个特征，F5即特征提取神经网络C中第5层神经元的个数；

(8)构建一个循环神经网络RN，具体包括以下步骤：

(8-1)循环神经网络RN的第一层为长短时记忆神经网络层，神经元个数为R，神经元权重为W_ifco；

(8-2)循环神经网络RN的第二层为SoftMax分类层，神经元个数为N+1，N为步骤(1)中的动态手势种类数，神经元权重为Ws；

(8-3)根据步骤(8-1)和步骤(8-2)，得到循环神经网络RN；

(9)向步骤(8)的循环神经网络RN中输入步骤(7)描述的特征矩阵CM，输出为预测的动态手势分类结果RE；

(10)以步骤(9)的动态手势分类结果RE的准确率达到最高为训练目标，使用梯度下降法，分别训练步骤(8)的循环神经网络RN的权重W_ifco和Ws，得到训练好的矩阵W_ifco’和Ws’；

(11)使用步骤(5)训练好的权重W1’、W2’、……W5’和步骤(10)训练好的W_ifco’和Ws’，构建手势识别神经网络GR，具体包括以下步骤：

(11-1)手势识别神经网络GR的第一层为卷积神经网络，卷积核W1’；

(11-2)手势识别神经网络GR的第二层为池化神经网络，卷积核W2’；

(11-3)手势识别神经网络GR的第三层为卷积神经网络，卷积核W3’；

(11-4)手势识别神经网络GR的第四层为池化神经网络，卷积核W4’；

(11-5)手势识别神经网络GR的第五层为全连接神经网络，神经元个数为F5，即步骤(6)中特征提取神经网络C的神经元个数，神经元权重为W5’；

(11-6)手势识别神经网络GR的第六层为长短时记忆神经网络层，神经元个数为R，即步骤(8)中循环神经网络RN的神经元个数，神经元权重为W_ifco’；

(11-7)手势识别神经网络GR的第七层为SoftMax分类层，神经元个数为N+1，神经元权重为Ws’，即步骤(10)训练好的矩阵Ws’；

(11-8)根据步骤(11-1)-(11-7)，得到手势识别神经网络GR；

(12)实时采集待识别目标的成像雷达图像，成像雷达图像中的每T张图像构成一个序列I，将该序列I作为步骤(11)的手势识别神经网络GR的实时输入，手势识别神经网络GR的输出即为待识别目标的手势，实现基于成像雷达的手势识别。