[发明专利]一种基于RNN的手语识别与骨架生成方法

权利要求书

1.一种基于RNN的手语识别与骨架生成方法，其特征在于，具体包括以下步骤：

步骤1、使用Kinect RGB-D数据集采集中国手语的骨架帧序列，输入到RNN隐藏层进行两次编码重构，并计算输出中国手语语义标签；

所述步骤1具体包括以下内容：

步骤1.1、使用Kinect RGB-D数据集，包含总共v个符号类，其中每个类包括q个骨架序列k；通过模糊C均值聚类FCM的方法将所有骨架序列k转换为T帧，即每个序列的长度为T，使得k＝(k₁,…k_i,…k_T)，其中参数M表示骨架k_i的关节数，其中j_xⁱ和j_yⁱ分别是第i个关节的x坐标和y坐标；通过k-means方法进行聚类骨架，产生总共F个骨架组，第i组表示为Gⁱ(i＝1,…,F)，那么骨架序列k就可以表示为

K＝(k₁，L，k_T)，其中k_j∈Gⁱ，i＝(1,…,F)

k_j＝(j_xⁱ，j_yⁱ)，其中i＝(1,…,M)；

步骤1.2、将步骤1.1中得到的中国手语的骨架帧序列输入到RNN隐藏层进行两次编码重构，h＝(h₁,…,h_T)为隐藏序列；

步骤1.3、使用激活函数s_t＝softmax(h_t)对步骤1.2中得到的隐藏序列h_t进行计算，计算输出中国手语语义标签其中表示基于RNN的激活函数，θ_s为系统参数；

所述步骤1.2具体包括以下内容：

输入CSL骨架序列被馈送到RNN隐藏层计算隐藏序列RNN隐藏层通过迭代以下两个方程计算：

其中h¹和h²分别是由Bi-LSTM编码的第一、二隐藏层，表示基于RNN的编码函数，θ_e1、θ_e2分别表示两层网络的系统参数；

Bi-LSTM中的隐藏层函数h由以下复合函数得到：

其中σ是sigmoid函数，c_t是状态单元，c_t-1表示上一时刻的状态信息；i_t是输入门，o_t是输出门，f_t是遗忘门，W是权重矩阵，W_ki、W_hi、W_ci表示输入门的权重，W_kf、W_hf、W_cf表示遗忘门的权重，W_kc、W_hc表示状态单元的权重，W_ko、W_ho、W_co输出门的权重；b是偏置矢量，b_i表示输入偏置量，b_f表示遗忘门的偏置量，b_c表示状态单元的偏置量，b_o表示输出门的偏置量；h_t-1是上一时刻的隐藏函数，h_t是当前时刻的隐藏函数，tanh表示双曲正切函数；

步骤2、根据中国手语语义，生成与步骤1中编码后概率密度分布相同的骨架序列，经过二级概率模型进行解码；

所述步骤2具体包括以下内容：

步骤2.1、根据语义标签s，识别模型可以给出对应标签s的隐藏变量h；其中s与h的分布关系为：

假设P(h|s)是多元高斯分布：

其中m_h和Σ_h分别是隐藏变量h的均值和协方差；

使用函数来表示此计算输入符号标签s和输出分布参数，

表示采样函数，θ_p1表示系统参数；

步骤2.2、使用多元高斯分布P(h|s)的随机取样来获得随机向量h^g，使得h^g服从多元高斯分布，即h^g～P(h|s)；利用指数运算将m_h和Σ_h转换为标准偏差参数，使用标准高斯分布N(0，I)构造随机向量h^g：

h^g＝m_h+Σ_h⊙N(0，I)

其中⊙表示函数操作，使用采样函数表示此分布，

θ_p2表示系统参数；

步骤2.3、解码h^g获得每一级骨架序列生成数据d^g，使用基于RNN的解码函数表示此过程：

其中表示解码函数，θ_d表示系统参数；

步骤2.4、为每一个骨架序列匹配一个骨架手势G，计算其高斯分布

步骤2.5、通过随机采样函数对步骤2.4中的骨架序列进行随机采样，产生新的骨架序列k^g；使用来自分布的随机采样获得用函数表示此过程：输入为高斯分布模型参数Θ_gmm，输出为生成的骨架序列

其中为基于RNN的采样函数，θ_p4系统参数；

步骤3、将步骤2中解码后的骨架序列输入到步骤1中进行识别，计算生成数据与真实数据的损失量，将误差回传，不断更新系统参数，极小化损失函数，从而最终得到骨架识别和生成框架，用于中国手语的识别与生成。