[发明专利]基于自监督学习和互信息解耦技术的语音合成方法

说明书

本发明公开基于自监督学习和互信息解耦技术的语音合成方法，主要包括数据预处理；采用HUBERT和wav2vec模型作为预训练的大模型，并采用大量的无标签方式对齐进行训练；设计说话人分类和风格分类两个任务作为下游任务，固定训练模型的权重参数，用于得到任务相关的特征表示；利用互信息对T_speaker和T_style进行解耦；将学习好的T_speaker和T_style添加到端到端语音合成模型中，端到端语音合成模型采用encoder‑attention‑decoder结构。本发明提升多说话人和多风格语音合成的质量，同时提高合成模型对于少量数据的快速适应能力。

技术领域

本发明是语音合成领域，涉及基于自监督学习和互信息解耦技术的语音合成方法，具体涉及到利用自监督预训练的方法对多话者和多风格语音合成系统进行优化。

背景技术

语音合成，又称文语转换(Text To Speech,TTS)，是一种可以将任意输入文本转换成相应语音的技术。传统的语音合成系统通常包括前端和后端两个模块。前端模块主要是对输入文本进行分析，提取后端模块所需要的语言学信息，对于中文合成系统而言，前端模块一般包含文本正则化、分词、词性预测、多音字消歧、韵律预测等子模块。后端模块根据前端分析结果，通过一定的方法生成语音波形，后端系统一般分为基于统计参数建模的语音合成(或称参数合成)以及基于单元挑选和波形拼接的语音合成(或称拼接合成)。目前随着端到端技术的提出和日趋成熟，单说话人语音合成系统，已经能够合成与人类发音具有相似自然度的语音，但是在实际应用场景中，单说话人语音合成系统已经无法满足人们的日常需求。

例如，在电子书朗读中，往往需要合成不同角色，不同情感或风格的音频。现有的语音合成方法，往往需要大量的数据集训练才能合成高质量的目标风格和目标说话人的音频，此外对于不同的风格和角色也不能做到很好的分离，尤其是在只有少量的参考音频进行微调的情况下，合成音频的质量更无法得到保障。

在过去的几年中，深度神经网络模型虽然在语音的多种任务上都取得了突破性进展，但却依旧受制于模型训练时所需的大量标注数据。自监督预训练方法的出现在一定程度上缓解了这一问题。该方法先使用大规模无监督数据进行预训练，随后将训练好的模型在小规模标注数据上进行微调。已有研究表明，使用自监督预训练可以提升多种语音任务的性能。

发明内容

本发明为解决背景技术中提出的技术问题，提出基于自监督学习和互信息解耦技术的语音合成方法，主要设计了以下四个方面：

1)采用自监督训练的方式对大模型进行训练，用于提取通用的语音表征，语音表征通过一个可学习的注意力机制模块进行学习。

2)设计说话人识别和风格识别两个下游任务，用于将通用的语音表征表示转换为任务相关的语音表征。

3)上述两个下游任务在训练的时候，添加互信息作为约束，用于对说话人表征和风格表征进行解耦。

4)最后，将说话人表征和风格表征运用到端到端语音合成模型中，用于实现多说话人和多风格的语音合成系统。

步骤一，数据预处理：文本需要进行前端处理，通常以字符作为输入，而文本与音频成对的数据可以作为训练数据。同时，预处理还需进行梅尔谱特征的提取。

对于文本的预处理通常采用python的自然语言处理工具包NLTK，来进行分词和汉字转拼音等操作，对于梅尔谱特征的提取可以直接采用python的常用音频处理工具包librosa，经过分帧，加窗和预加重等过程，从音频中提取梅尔谱特征。

步骤二，针对大模型采用自监督学习的方式进行训练。采用HUBERT和wav2vec等模型作为预训练的大模型，并采用大量的无标签方式对齐进行训练。

步骤三，设计说话人分类和风格分类两个任务作为下游任务，固定步骤二所训练模型的权重参数，用于得到任务相关的特征表示。