[发明专利]使用话音转换和语音识别模型的合成数据增强

权利要求书

1.一种训练语音转换模型(300)的方法(380)，所述方法(380)包括：

由数据处理硬件(410)获得多个训练文本话语(302)，其中：

所述多个训练文本话语(302)的第一部分包括口头训练话语(305)集合中的多个转录，每个口头训练话语(305)由与非典型语音相关联的目标说话者(104)说出并且包括与对应口头训练话语(305)的对应非合成语音表示(304)配对的对应转录；以及

所述多个训练文本话语(302)的第二部分包括与所述语音转换模型(300)在其中被训练来学习的特定域相关的多个非口头训练文本话语(302)，每个非口头训练文本话语(302)不与任何对应口头话语配对；

由所述数据处理硬件(410)使用所述口头训练话语(305)集合来调整文本到语音(TTS)模型(210)，以合成在所述目标说话者(104)的话音中的并且捕获了与所述目标说话者(104)相关联的所述非典型语音的语音；

对于所述多个非口头训练文本话语(302)中的每个非口头训练文本话语(302)，由所述数据处理硬件(410)生成对应非口头训练文本话语(302)的合成语音表示(306)作为来自调整后的TTS模型(210)的输出，所述合成语音表示(306)包括所述目标说话者(104)的所述话音并且捕获与所述目标说话者(104)相关联的所述非典型语音；以及

由所述数据处理硬件(410)基于由所述调整后的TTS模型(210)针对所述多个非口头训练文本话语(302)中的每个非口头训练文本话语(302)生成的所述合成语音表示(306)来训练所述语音转换模型(300)。

2.根据权利要求1所述的方法(380)，进一步包括：

对于由所述调整后的TTS模型(210)生成的每个合成语音表示(306)：

由所述数据处理硬件(410)生成所述目标说话者(104)的所述话音中的合成标准流利语音的对应音频波形，作为来自所述语音转换模型(300)的输出；

由所述数据处理硬件(410)针对作为来自所述语音转换模型(300)的输出而被生成的合成标准流利语音的所述对应音频波形生成文本表示(318)，作为来自文本解码器(250)的输出；以及

由所述数据处理硬件(410)基于针对合成标准流利语音的所述对应音频波形作为来自所述文本解码器(250)的输出而被生成的所述文本表示(318)和所述对应非口头训练文本话语(302)，来确定与所述对应合成语音表示(306)相关联的词错误率损失(342)；以及

由所述数据处理硬件(410)识别过滤的合成语音表示(306)集合，每个过滤的合成语音表示对应于作为来自所述语音转换模型(300)的输出而被生成的所述合成语音表示(306)中的具有满足词错误率损失阈值的词错误率损失(342)的相应一个，

其中基于由所述调整后的TTS模型(210)针对所述多个非口头训练文本话语(302)中的每个非口头训练文本话语(302)生成的所述合成语音表示(306)来训练所述语音转换模型(300)包括在所述过滤的合成语音表示(306)集合上训练所述语音转换模型(300)，而不在作为来自所述语音转换模型(300)的输出而被生成的具有不满足所述词错误率损失阈值的词错误率损失(342)的所述合成语音表示(306)中的任一个上训练所述语音转换模型(300)。

3.根据权利要求2所述的方法(380)，进一步包括，当所述语音转换模型(300)先前未被训练为转换由具有与关联于所述目标说话者(104)的所述非典型语音相同类型的非典型语音的说话者说出的输入话语的音频波形时：

由所述数据处理硬件(410)使用所述口头训练话语(305)集合来调整所述语音转换模型(300)，以将由具有非典型语音的所述目标说话者(104)说出的输入话语的音频波形转换成合成标准流利语音的音频波形，

其中生成合成标准流利语音的所述对应音频波形包括生成所述目标说话者(104)的所述话音中的合成标准流利语音的所述对应音频波形作为来自所述调整后的语音转换模型(300)的输出。

4.根据权利要求2或3所述的方法(380)，其中所述文本解码器(250)驻留在所述语音转换模型(300)上。