[发明专利]基于三维头像的聋儿语言康复方法及系统

摘要

本发明涉及基于三维头像的聋儿语言康复方法及系统，属于医疗仪器类，其主要技术是将三维建模与可视语音技术相结合，建立基于参数驱动的三维唇动模型及适合聋儿康复的三维汉语辅助发音可视语音库，并在三维会话头像建立的基础上，结合语音识别和图像识别技术对聋儿发音进行校正，以达到帮助聋儿恢复汉语发音功能。

主权项

一种基于三维头像的聋儿语言康复方法，其特征在于：使聋儿在汉语发音学习中通过视觉直观看到显示屏幕上的三维会话头像模拟发音过程，通过半透明的头像可以看到内部发音器官发音过程的动作序列，一边模仿一边练习，具体方法是：a.通过显示屏幕向聋儿播放某一汉语文字、词、短语、简单句子的可视化三维头像发音过程，同时播放该信息的语音，该发音过程是经过参数驱动3D头像的各个发音器官完成的，接下来进行步骤b；b.聋儿根据屏幕显示的发音过程进行发音练习，同时系统收集聋儿练习过程的音频和视频资料，通过视频分析(唇读技术)和音频分析(语音识别技术)给聋儿发音进行评分：优秀、合格、不合格，若合格进入步骤c，若优秀进入步骤d，若不合格进入步骤e；c.鼓励学生继续进行练习，争取达到优秀标准，若聋儿选择继续练习则返回到刚刚训练的内容，同时系统进入步骤b，若不想继续学习此内容则可选择进入下一训练环节，同时系统进入步骤b，或者进入步骤f；d.给予聋儿一定奖励，好看的图片或是动画，激励聋儿继续努力学习，若想继续学习可选择进入下一训练环节，同时系统进入步骤b，或者进入步骤f；e.给予聋儿一定鼓励，同时重新播放正确的三维头像发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤b；f.退出系统。