[发明专利]使用话音转换和语音识别模型的合成数据增强

说明书

一种用于训练语音转换模型(300)的方法(380)包括获得口头训练话语(305)集合中的多个转录(302)以及获得多个非口头训练文本话语。每个口头训练话语由与非典型语音相关联的目标说话者(104)说出，并且包括与对应非合成语音表示(304)配对的对应转录。该方法还包括使用该口头训练话语集合来调整TTS模型(210)，以合成在目标说话者的话音中并且捕获非典型语音的语音。对于每个非口头训练文本话语，该方法还包括生成合成语音表示(306)作为来自调整后的TTS模型的输出，该合成语音表示包括目标说话者的话音并且捕获非典型语音。该方法还包括基于合成语音表示来训练语音转换模型。

技术领域

本公开涉及使用话音转换和语音识别模型的合成数据增强。

背景技术

自动语音识别(ASR)，即获取音频输入并将音频输入转录为文本的过程已经极大地成为移动装置和其它装置中使用的一项重要技术。通常，自动语音识别试图通过获取音频输入(例如，语音话语)并将音频输入转录为文本来提供人说出的内容的准确转录。

开发基于深度学习的语音转换模型和ASR模型的一个挑战是这些模型的参数往往会过度拟合训练数据，从而导致在训练数据不够广泛时难以归纳不可见数据。虽然在更大的训练数据集上训练语音转换模型和ASR模型会提高准确性，但是缺乏包括由说话者以非典型语音模式(即声学多样性)说出的针对特定域(即语言多样性)的话语的足够训练数据，以通过这些模型实现可接受的准确性。

发明内容

本公开的一个方面提供一种用于训练语音转换模型的方法，所述语音转换模型针对与非典型语音相关联的目标说话者个性化。该方法包括由数据处理硬件获得多个训练文本话语。多个训练文本话语的第一部分包括口头训练话语集合中的多个转录。每个口头训练话语由与非典型语音相关联的目标说话者说出，并且包括与对应口头训练话语的对应非合成语音表示配对的对应转录。多个训练文本话语的第二部分包括与语音转换模型在其中被训练来学习的特定域相关的多个非口头训练文本话语。每个非口头训练文本话语不与任何对应的口头话语配对。该方法还包括由数据处理硬件使用该口头训练话语集合来调整文本到语音(TTS)模型，以合成在目标说话者的话音中的并且捕获了与目标说话者相关联的非典型语音的语音。对于多个非口头训练文本话语中的每个非口头训练文本话语，该方法包括由数据处理硬件生成对应非口头训练文本话语的合成语音表示作为来自调整后的TTS模型的输出。合成语音表示包括目标说话者的话音并且捕获与目标说话者相关联的非典型语音。该方法还包括由数据处理硬件基于由调整后的TTS模型针对多个非口头训练文本话语中的每个非口头训练文本话语生成的合成语音表示来训练语音转换模型。

本公开的实施方案可以包括以下可选特征中的一个或多个。在一些实施方案中，对于由调整后的TTS模型生成的每个合成语音表示，该方法进一步包括：由数据处理硬件生成目标说话者的话音中的合成标准流利语音的对应音频波形作为来自语音转换模型的输出；由数据处理硬件针对作为来自语音转换模型的输出而被生成的合成标准流利语音的对应音频波形生成文本表示，作为来自文本解码器的输出；以及由数据处理硬件确定与对应合成语音表示相关联的词错误率损失。词错误率损失是基于针对合成标准流利语音的对应音频波形作为来自文本解码器的输出而被生成的文本表示和对应非口头训练文本话语。在这些实施方案中，该方法还包括由数据处理硬件识别过滤的合成语音表示集合。每个过滤的合成语音表示集合对应于作为来自语音转换模型的输出而被生成的合成语音表示中的具有满足词错误率损失阈值的词错误率损失的相应一个。在这些实施方案中，基于由调整后的TTS模型针对多个非口头文本话语中的每个非口头文本话语生成的合成语音表示来训练语音转换模型包括在该过滤的合成语音表示集合上训练语音转换模型。语音转换模型不在作为来自语音转换模型的输出而被生成的具有不满足词错误率损失阈值的词错误率损失的合成语音表示中的任一个上训练。