[发明专利]手语生成方法和系统

权利要求书

1.一种手语生成方法，其特征在于，包括：

获取手语注解序列与目标手势姿态序列作为训练样本；将手续注解序列通过一个非自回归模型生成预测的手势姿态序列，计算生成损失；

所述的非自回归模型包括第一Transformer网络、持续时间预测器、长度调节器、第二Transformer网络和时空图卷积姿态产生器；手语注解序列经过嵌入及位置编码后，首先由第一Transformer网络转换为注解同步特征序列；接下来，由持续时间预测器预测与每个注解对齐的手势姿态序列的对数持续时间；根据预测的持续时间，通过长度调节器将注解同步特征序列扩展到姿态同步特征序列，然后依次由另一个Transformer网络和时空图卷积姿态生成器变换为手势姿态序列；根据预测得到的手势姿态序列合成手语视频；

在对非自回归模型进行训练时，引入一个外部对齐器以获得每个注解的目标对数持续时间，计算持续时间损失；

所述的外部对齐器包括一个混合密度网络和单调排列搜索器；

手语注解序列经过嵌入及位置编码后，首先应用一个混合密度网络来将其转换为注解同步手势姿态高斯分布序列其中z_i＝(μ_i,σ_i)是对应于第i个注解的手势姿态帧的高斯分布平均值和方差；

然后通过单调排列搜索器预测最优单调对齐：将目标手势姿态序列和注解同步手势姿态高斯分布序列作为单调排列搜索器的输入，如果目标手势姿态帧y_j遵循第i个注解的预测分布那么就定义A(j＝i；采用单调对齐搜索法得到注解同步手势姿态高斯分布序列和目标手势姿态序列之间最可能的单调对齐，从而最大限度地提高数据的对数似然：

其中，是数据集，是手语注解序列集合，是目标手势姿态序列集合，θ是混合密度函数的参数，表示(X,Y)样本对来自于数据集的概率，X是手语注解序列，Y是手势姿态序列，表示在单调对齐A下的目标手势姿态帧y_j遵循第i个注解的预测分布，A表示单调对齐函数；y_j表示第j个手势姿态帧，μ_A(j),σ_A(j)表示与第j个手势姿态帧对齐的高斯分布平均值和方差，N_Y表示手势姿态序列的长度，A^*表示预测得到的最优单调对齐。

2.根据权利要求1所述的手语生成方法，其特征在于，所述的第一Transformer网络和第二Transformer网络的结构相同，参数不共享；每一个Transformer网络由若干FFT块叠加构成，每一个FFT块包括一个自注意层、一个前馈层，且每一层之后设有残差连接和层规范化。

3.根据权利要求1所述的手语生成方法，其特征在于，所述的混合密度网络包含N个FFT块，最后一个FFT块的输出经线性层投射到注解同步手势姿态高斯分布的均值序列和方差序列中。

4.根据权利要求1所述的手语生成方法，其特征在于，通过对齐损失函数优化混合密度网络：

其中，表示对齐损失，在单调对齐A^*下的目标手势姿态帧y_j遵循第i个注解的预测分布。

5.根据权利要求4所述的手语生成方法，其特征在于，根据训练好的外部对齐器生成真实的目标对数持续时间：

i＝1，...，N_X

其中，是第i个注解的目标对数持续时间，表示对齐到第i个注解的第j个手势姿态帧的持续时间，N_X是输入的手语注解序列的长度。

6.根据权利要求1所述的手语生成方法，其特征在于，所述的生成损失为：

其中，为生成损失，MSE(.)为均方误差，Y_gen为生成的手势姿态序列，Y为目标手势姿态序列；

所述的持续时间损失为：

其中，为持续时间损失，MSE(.)为均方误差，l^pred是预测得到的对数持续时间，l^trg是真实的目标对数持续时间；

将生成损失与持续时间损失的加权结果作为非自回归模型的总损失。