[发明专利]手势到汉藏双语语音转换方法及装置

摘要

本发明公开了一种手势到汉藏双语语音转换方法及装置，通过将基于深度图像的手势识别技术和基于HMM汉藏双语语音合成技术相结合，利用改进的SURF算法和基于HMM的自适应训练及自适应转换算法，实现了用同一个系统和装置完成了手势到汉语和藏语语音的转换。本系统促进了健全人和语言障碍者的日常交流和生活，增加了可供聋哑人使用的社会资源，尤其是给属于少数名族的聋哑人在社会上的生活、学习带来了极大的便利，具有重要的意义。

主权项

一种手势到汉藏双语语音转换方法，其特征在于，包括步骤：A、获取深度图像，并基于深度图像进行手势分割；基于深度图像的手势分割主要取决于手和摄像头之间的距离，在通过Kinect传感器获得深度图像后，图像划分为手像素区域和背景像素区域，进行二值化处理后，就能将手势形状分割出来用于进行特征提取和匹配；B、利用改进的SURF算法对分割出的手势图像进行快速鲁棒特征的匹配，得出手势的匹配结果；C、根据哑语的手势含义，对各个静态手势，设计了一个手势的语义词典，然后供语音合成系统根据识别出的手势合成出相应的语音；D、利用汉藏多说话人的语音数据，基于HMM模型，通过说话人自适应训练，训练得到混合语言平均音模型；E、用待合成目标语言藏语或汉语语音少量说话人的语料，通过说话人自适应变换，得到说话人自适应模型，并对自适应模型进行修正和更新；F、利用基于HMM的汉藏双语语音合成系统合成藏语或汉语语音。