[发明专利]个性化语音合成模型创建、语音合成和测试方法及装置

说明书

本发明公开了一种个性化语音合成模型的创建方法、语音合成方法及装置。个性化语音合成模型的创建方法，包括：从多说话人语音合成模型的多个说话人中，选出与所述用户属于相同类别的同类说话人；根据所述用户的训练数据和所选择的所述同类说话人，对所述多说话人语音合成模型进行训练，得到所述用户的个性化语音合成模型。本发明能够合成目标说话人特定说话风格的语音，提升了用户体验。

技术领域

本发明涉及人工智能技术领域，特别涉及一种个性化语音合成模型的创建方法、语音合成和测试方法及装置。

背景技术

人工智能技术中的语音交互场景需要进行个性化语音合成。个性化语音合成是业务上的强需求，也是语音合成领域未来的趋势之一。

传统的语音合成技术中，利用上百个说话人的几百小时的训练数据，可以构建基于海量数据的多发言人语音合成系统，具体地，可以利用多说话人的语音合成模型，例如基于神经网络的文本到语音Neural TTS(Text-To-Speech)模型，在该模型的训练数据中，单个说话人的语音数据量往往在几个小时到几十小时不等，利用海量发音人的数据构建的语音合成系统，可以提供更稳定的语音合成效果。对于多说话人Neural TTS模型来说，给定任何一个训练集中的说话人，利用该多说话人Neural TTS模型，可以合成该说话人的声音。

对于个性化语音合成的业务需求场景来说，为了合成某个性化的说话人的特定风格的语音，需要在上述多说话人Neural TTS模型的基础上，进一步对该个性化的说话人的特点进行学习，为了保证学习效果，需要该个性化的说话人大量的训练数据，但训练数据的获取需要较高的成本投入，不仅流程繁琐，而且耗时较长，这些都会严重影响用户的使用体验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种个性化语音合成模型的创建方法、语音合成方法、测试方法及装置。

第一方面，本发明实施例提供一种个性化语音合成模型的创建方法，包括：

从多说话人语音合成模型的多个说话人中，选出与所述用户属于相同类别的同类说话人；

根据所述用户的训练数据和所选择的所述同类说话人，对所述多说话人语音合成模型进行训练，得到所述用户的个性化语音合成模型。

在一个实施例中，所述用户的训练数据，通过下述方式得到：对用户的数据进行处理，提取出对应的语言学特征和声学特征作为用户的训练数据；

所述根据与所述用户的训练数据和所选择的所述同类说话人，对所述多说话人语音合成模型进行训练，得到所述用户的个性化语音合成模型，包括：

将所述同类说话人在所述多说话人语音合成模型中的ID和对应的说话人表征输入所述多说话人语音合成模型，并使用用户的训练数据，对所述多说话人语音合成模型进行训练，得到所述用户的个性化语音合成模型。

在一个实施例中，所述用户的数据包括：语音数据和对应的文本；

所述对用户的数据进行处理，提取出对应的语言学特征和声学特征，包括：

将所述用户的文本通过语音合成自动标注确定标注信息，所述标注信息包括：发音标注、韵律标注；以及将所述用户语音数据通过语音识别和语音活动检测，确定音速边界；根据所述发音标注、韵律标注和音速边界，提取出对应的语言学特征；

对所述用户的语音数据进行声学特征的提取。

在一个实施例中，所述对所述用户的语音数据进行声学特征的提取之前，还包括：

对所述语音数据进行包括能量规整、解混响和能量增强的预处理操作。

在一个实施例中，所述相同类别是指按照说话人的下述条件任一或者组合条件所确定的同一类别：性别、年龄、说话方式和说话环境。