[发明专利]基于手势动作生成与识别的手语教学方法、装置及系统

权利要求书

1.一种基于手势动作生成与识别的手语教学方法，其特征在于，包括：

利用T-G姿态生成网络对手语数据集视频与手语文本标签训练姿态生成模型；

利用双流VTN网络训练手语数据集生成手语翻译模型；

将待识别的文本语句送入训练好的姿态生成模型，得到3D虚拟人物动作视频，供学习者模仿；

利用手语翻译模型，对学习者模仿的手语动作进行识别，将动作模仿结果与标准教学动作进行相似度评估，反馈学习效果。

2.根据权利要求1所述的方法，其特征在于，所述利用T-G姿态生成网络对手语数据集视频与手语文本标签训练姿态生成模型包括：

使用前向Transformer网络对手语数据集视频和手语文本标签进行训练，得到姿态预测序列；

使用后向GAN网络对姿态预测序列进行交替迭代训练，保存训练好的姿态生成模型。

3.根据权利要求2所述的方法，其特征在于，所述使用前向Transformer网络对手语数据集视频和手语文本标签进行训练，得到姿态预测序列包括：

使用Transformer的Encoder部分对手语文本标签进行特征提取，提取出文本特征信息；

对手语数据集视频进行人体骨骼姿态关键点检测并提取三维坐标点；

将提取出的文本特征与三维坐标点送入Transformer的Decoder部分得到姿态预测序列。

4.根据权利要求3所述的方法，其特征在于，在使用Transformer的Encoder部分对手语文本标签进行特征提取，提取出文本特征信息时，使用如下公式来提供给模型位置信息：

其中，pos为一句话中某个字的位置，i表示字向量的维度序号，d_model表示字向量的维度值。

5.根据权利要求4所述的方法，其特征在于，所述使用后向GAN网络对姿态预测序列进行交替迭代训练，保存训练好的姿态生成模型包括：

将前向生成的姿态预测序列送入Generator生成器得到虚拟的手语姿态；

使用Discriminator判别器对虚拟的手语姿态和真实的手语姿态进行判别训练；

使用生成器和判别器交替迭代训练，使虚拟的手语姿态更接近真实的手语姿态，得到判别器无法区分的姿态生成模型。

6.根据权利要求5所述的方法，其特征在于，所述利用双流VTN网络训练手语数据集视频生成手语翻译模型，包括：

对孤立词手语视频进行DNN全局人体特征检测，提取全局特征；

使用Openpose模型对孤立词手语数据集进行手掌特征检测，提取手掌特征；

将全局特征与手掌特征进行信息融合，利用双流VTN网络训练连续语句手语数据集，得到手语翻译模型。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述将待识别的文本语句送入训练好的姿态生成模型得到3D虚拟人物动作视频，供学习者模仿包括：

使用姿态生成模型将待识别的手语文本语句转换为人体骨骼姿态关键点；

利用ThreeDPose模型对人体骨骼关键点的3D姿态进行虚拟重构，生成3D虚拟人物动作视频，供学习者模仿。

8.根据权利要求7所述的方法，其特征在于，所述利用手语翻译模型对学习者模仿的手语动作进行识别，将动作模仿结果与标准教学动作进行相似度评估，反馈学习效果包括：

录制学习者模仿的手语动作视频，对视频进行双流特征提取；

将双流特征送入训练好的手语翻译模型中，生成学习者的动作模仿结果。

使用实时评价模型对动作模仿结果与标准教学动作进行相似度评估，得到分数值；

根据分数值对动作准确度进行分级。