[发明专利]基于手势动作生成与识别的手语教学方法、装置及系统

说明书

本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统，属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练，生成姿态生成模型，并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学，供学习者模仿；然后利用双流VTN网络对手语数据集进行训练，生成手语翻译模型，并对学习者的动作与标准库手语教学动作进行相似度评估，反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明，丰富了聋哑人教学的模式，能够方便聋哑人士自主学习手语并提高了学习的兴趣，保证了手语教学的效率和质量。

技术领域

本发明属于计算机视觉与模式识别等技术领域，具体涉及一种基于手势动作生成与识别的手语教学方法、装置及系统。

背景技术

手语是听障人士进行交流，表达思想的工具，它和口头语言一样具有传递信息的功能，可以表达一些复杂或抽象的语言概念。通常根据特定的语法，将手指动作配合肢体语言及面部表情来传达信息，从原来简单的手势发展成为形象生动的且具有沟通和交流作用的特殊语言，手语识别与翻译技术为听障人士与健全人士沟通提供了便利，其研究不仅要让健全人士读懂手语，还应该让听障人士看懂健全人士说了什么，这种交互过程尤为重要。在教育资源方面，针对听障人士的数字教育资源相对匮乏，教学内容和学生需求匹配度并不高。

由于手语视频生成任务发展较晚，目前手语领域对该任务的研究仍处于起步阶段。传统的日常动作视频生成任务通常考虑人类的周期性动作，而手语视频生成的难点在于手语动作具有变化细微且重叠度较低的特质。同时，手语生成需要同时建模身体姿态、手部动作、面部表情等多个部分，以保证各部分在时间上的同步。再者，生成的手语视频对于听障人士来说必须是可理解且可接受的，这对生成视频的画面自然度、手势细节准确度和手语动作之间的连贯性等都提出了更高的要求。例如申请号为CN202110778836.4的中国专利申请公开了一种手语互译系统，包括手语正译方法和手语反译方法；手语正译方法包括接收手势动作数据，并将手势动作数据转换为第一文字信息，对当前第一文字信息进行语音合成处理，得到手语翻译语音信息；手语反译方法包括接收语音数据，并将语音数据转换为第二文字信息，并对当前第二文字信息进行解析，得到与当前分词后第二文字信息匹配的手语动画信息。但是这种方法依赖于前期对每一个手语视频都要做动画匹配，工作量巨大，不具有教学普及性。因此，构建一套基于手势动作生成的手语教学系统是很有必要的，可以丰富聋哑人手语教学的模式，提高学习兴趣，实现高质量手语教学的普及。

发明内容

技术问题：本发明致力于将人工智能的手段引入课堂教学中，拓展现有的手语教学模式，解决表达性差，学习者模仿效率低的问题，

通过训练手势姿态生成模型，将手语文本生成3D虚拟人物动作视频供学习者进行模仿；并能够录制学习者模仿的动作视频进行反馈打分，提高了手语学习者的自主学习能力，高效率完成学习。

技术方案：本发明的第一方面，提供一种基于手势动作生成与识别的手语教学方法，包括：

利用T-G姿态生成网络对手语数据集视频与手语文本标签训练姿态生成模型；

利用双流VTN网络训练手语数据集生成手语翻译模型；

将待识别的文本语句送入训练好的姿态生成模型，得到3D虚拟人物动作视频，供学习者模仿；

利用手语翻译模型，对学习者模仿的手语动作进行识别，将动作模仿结果与标准教学动作进行相似度评估，反馈学习效果。

进一步地，所述利用T-G姿态生成网络对手语数据集视频与手语文本标签训练姿态生成模型包括：

使用前向Transformer网络对手语数据集视频和手语文本标签进行训练，得到姿态预测序列；

使用后向GAN网络对姿态预测序列进行交替迭代训练，保存训练好的姿态生成模型。