[发明专利]基于HMM的双语(普通话-英语)TTS技术

说明书

本申请是国际申请号为PCT/US2008/073563，国际申请日为2008年8月19日，进入中国国家阶段的申请号为200880103469.0，名称为“基于HMM的双语(普通话-英语)TTS技术”的发明专利申请的分案申请。

背景

虽然文本-语音(TTS)合成质量近年来已极大地提高，但各种电信应用程序(例如，信息询问、预约和预定、以及电子邮件阅读)要求比现有TTS系统所能够提供的更高的合成质量。具体而言，随着全球化及其伴随的语言混合，这些应用程序能够从其中一个引擎能够合成多种语言或甚至混合语言的多语言TTS系统中受益。大多数常规TTS系统只能够处理单一语言，其中语音数据库中的句子由单个说母语的人来发音。尽管多语言文本可通过在每一种语言改变时切换语音或引擎来正确地阅读，但其中语言改变在句子内作为单词或短语发生的代码切换文本实际上是不可行的。此外，随着移动电话或嵌入式设备的广泛使用，语音合成器的覆盖区域成为基于这些设备的关于应用程序的因素。

对多语言TTS系统的研究表明音素覆盖可通过收集多语言语音数据来实现，但语言专用信息(例如，专用文本分析)也是必需的。已经在多语言或语言无关语音识别和合成中尝试了使用最小音素库存来覆盖受影响的语言的所有音素的全局音素集。这一方法采用按音素相似性的音素共享，该音素相似性通过数据驱动聚类方法或者由国际音标字母表(IPA)定义的音节特征来测量。存在对TTS系统的小覆盖区域方面的强烈兴趣，注意基于隐马尔可夫模型的语音合成往往更有希望。某些隐马尔可夫模型(HMM)合成器可具有相对较小的覆盖区域(例如，≤2MB)，这使其适用于嵌入式系统。具体而言，这些HMM合成器已经成功地应用于许多单语的语音合成，例如，英语、日语和普通话。这一HMM方法已经出于多语言的目的而应用，其中首先通过使用来自若干说不同语言的说话者的混合语音来训练平均语音并且然后使该平均语音对特定说话者自适应。因此，该特定说话者能够说包含在训练数据中的所有语言。

通过全球化，嵌在普通话发言中的英语单词或短语在中国的学生和受过教育的人中正在变得越来越普遍地使用。然而，普通话和英语属于不同的语系；这些语言是高度无关的，这表现在基于对其IPA符号的检查，能够一起共享的音素很少。

常规上，基于由双语说话者说出的预先记录的普通话和英语句子来构建双语(普通话-英语)TTS，其中该系统的单元选择模块是跨这两种语言共享的，而来自这两种不同语言的音素彼此不共享。这一方法具有某些缺点。这一系统的覆盖区域太大，即，大约是单一语言系统的大小的两倍。实际上，找到足够数量的专业双语说话者来为各种应用程序构建多个双语音型也不容易。

此处所讨论的各种示例性技术涉及多语言TTS系统。与每一种语言需要单独的TTS系统的现有技术相比，这些技术能够减小TTS系统的覆盖区域。

概述

一种用于基于一种或多种语言的文本来生成语音的示例性方法，该方法包括提供两种或更多语言的音素集、训练包括跨语言状态级共享的多语言HMM、接收该多语言HMM的语言中的一种或多种语言的文本、以及至少部分地基于该多语言HMM来生成对应于所接收到的文本的语音。其他示例性技术包括第一语言的决策树和第二语言的决策树之间的映射和可任选地反方向的映射、以及对多语言文本-语音系统的Kullback-Leibler散度分析。

附图简述

参考附图描述了非限制性的和非穷尽的实施例，其中除非另外指定，否则在各个视图中相同的附图标记指示相同的部分。

图1是包括语音-文本(STT)和文本-语音(TTS)的文本和语音方法的图示。

图2是用于英语的TTS方法和系统以及用于普通话的TTS方法和系统的图示。

图3是示例性多语言TTS方法和系统的图示。

图4是确定英语和普通话的共享音素的示例性方法的图示。

图5是使用KLD来确定共享在英语音素和普通话音素之间是否切实可行的示例性技术的图示。

图6是用于确定共享在英语子音素和普通话子音素之间是否切实可行的示例性方法的图示。

图7是用于确定共享在英语复杂音素和普通话音素对之间是否切实可行的示例性方法的图示。

图8是用于上下文无关状态共享的示例性技术的图示。

图9是用于上下文相关状态共享的示例性技术的图示。

图10是用于语音合成的示例性技术的图示。

图11是基线系统以及用于英语和普通话的两个示例性系统的图示。