[发明专利]语音合成方法、装置、电子设备及存储介质在审
申请号: | 202110641834.0 | 申请日: | 2021-06-09 |
公开(公告)号: | CN113380222A | 公开(公告)日: | 2021-09-10 |
发明(设计)人: | 游于人;康世胤;陀得意;刘峰 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G10L13/027 | 分类号: | G10L13/027;G10L13/08 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 张欣欣 |
地址: | 511495 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 电子设备 存储 介质 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
获取待合成文本的音素数据和说话人标识;
将所述音素数据和所述说话人标识输入预设的音素特征预测模型,预测目标说话人对应的所述待合成文本的音素特征;所述目标说话人为所述说话人标识对应的说话人;
其中,所述音素特征预测模型是根据多个特定说话人的语料数据训练而成,每个所述特定说话人对应有至少一个语言种类,所述目标说话人为所述特定说话人中的一个;所述待合成文本对应的语言种类为全部所述特定说话人对应的语言种类的一种;
根据所述目标说话人对应的所述待合成文本的音素特征、所述音素数据、所述说话人标识合成所述待合成文本对应的目标说话人音频。
2.根据权利要求1所述的语音合成方法,其特征在于,将所述音素数据和所述说话人标识输入预设的音素特征预测模型,预测所述目标说话人对应的所述待合成文本的音素特征,包括:
将所述待合成文本对应的音素数据和所述说话人标识输入所述音素特征预测模型,确定所述目标说话人;
通过所述音素特征预测模型的时长预测子模型,获得所述目标说话人对应的所述待合成文本的每个音素的时长信息;
通过所述音素特征预测模型的音高预测子模型,获得所述目标说话人对应的所述待合成文本的每个音素的音高信息;
通过所述音素特征预测模型的能量预测子模型,获得所述目标说话人对应的所述待合成文本的每个音素的能量信息。
3.根据权利要求1所述的语音合成方法,其特征在于,根据所述目标说话人对应的所述待合成文本的音素特征、所述音素数据以及所述说话人标识合成所述待合成文本对应的目标说话人音频,包括:
将所述目标说话人对应的所述待合成文本的音素特征、所述音素数据以及所述说话人标识输入预设的声学模型,获得所述目标说话人对应的所述待合成文本的声学频谱;
基于所述声学频谱进行语音合成,得到所述目标说话人音频。
4.根据权利要求1所述的语音合成方法,其特征在于,在获取待合成文本的音素数据和目标说话人对应的说话人标识的步骤之前,所述方法还包括:
显示语音合成用户界面,所述语音合成用户界面上具有文本录入区域、说话人选择区域;所述目标说话人选择区域内具有全部所述特定说话人的选择标识;
当在所述文本录入区域接收到录入操作指令,将获得的文本确定为所述待合成文本;
当在所述说话人选择区接收到选择操作,将被选择的所述特定说话人对应的编码确定为所述说话人标识。
5.根据权利要求4所述的语音合成方法,其特征在于,获取待合成文本的音素数据和说话人标识,包括:
将获得的所述待合成文本进行音素转换,确定音素嵌入表示向量;
针对每个所述音素对应的语言种类,为每个所述音素配置语言种类标签,获得所述待合成文本对应的音素标签向量;
将被选择的所述特定说话人的标识确定为所述说话人标识。
6.根据权利要求1所述的语音合成方法,其特征在于,所述音素特征预测模型是按照以下方式训练的:
获得全部所述特定说话人的所述语料数据,所述语料数据包括音频波形数据和所述音频波形数据对应的文本;
针对每个所述特定说话人,根据所述音频波形数据获得所述文本的每个音素对应的时长信息以及与所述时长信息对应的音高信息和能量信息;
基于全部所述特定说话人对应的时长信息、音高信息和能量信息进行模型训练,获得所述音素特征预测模型。
7.根据权利要求4所述的语音合成方法,其特征在于,所述方法还包括:
当在所述语音合成用户界面接收到预览操作,输出所述目标说话人音频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110641834.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:废气再循环率确定方法、装置及计算机存储介质
- 下一篇:一种窨井盖橡胶防护装置