[发明专利]语音合成方法、装置、存储介质及电子设备有效
申请号: | 202011212351.0 | 申请日: | 2020-11-03 |
公开(公告)号: | CN112331176B | 公开(公告)日: | 2023-03-10 |
发明(设计)人: | 徐晨畅;潘俊杰 | 申请(专利权)人: | 北京有竹居网络技术有限公司 |
主分类号: | G10L13/10 | 分类号: | G10L13/10;G10L13/027 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏嘉熹 |
地址: | 101299 北京市平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 存储 介质 电子设备 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
获取标注有重音词的待合成文本;
将所述待合成文本输入语音合成模型中,以得到所述待合成文本对应的音频信息,所述语音合成模型是通过标注有重音词的样本文本和所述样本文本对应的样本音频训练得到的,所述语音合成模型用于通过如下方式对所述待合成文本进行处理:
确定所述待合成文本对应的音素序列;
根据所述待合成文本中标注的所述重音词,确定音素级别的重音标签;
根据所述音素序列和所述重音标签,生成所述待合成文本对应的音频信息;
所述样本文本中标注的所述重音词是通过如下方式确定的:
获取多个样本文本,每一所述样本文本中包括标注有初始重音标记的重音词;
针对标注有所述初始重音标记的每一所述重音词,若该重音词在每一个所述样本文本中被标注为重音词,则对该重音词添加目标重音标记;若该重音词在至少两个所述样本文本中被标注为重音词,则在该重音词的基频大于预设基频阈值且该重音词的能量大于预设能量阈值的情况下,对该重音词添加目标重音标记;
针对每一所述样本文本,将该样本文本中添加有所述目标重音标记的重音词确定为该样本文本中的重音词。
2.根据权利要求1所述的方法,其特征在于,所述根据所述音素序列和所述重音标签,生成所述待合成文本对应的音频信息,包括:
将所述待合成文本对应的所述音素序列进行向量化,以得到音素向量,并将所述重音标签进行向量化,以得到重音标签向量;
根据所述音素向量和所述重音标签向量,确定目标音素向量;
根据所述目标音素向量确定梅尔频谱;
将所述梅尔频谱输入声码器,以得到所述待合成文本对应的音频信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标音素向量确定梅尔频谱,包括:
将所述目标音素向量输入编码器,并将所述编码器输出的向量输入译码器,以得到对应的梅尔频谱,其中,所述编码器用于确定输入向量对应的音素序列中每一音素的发音信息,所述译码器用于根据输入向量对应的每一音素的发音信息进行转换处理,以得到所述每一音素对应的梅尔频谱。
4.根据权利要求2所述的方法,其特征在于,所述根据所述音素向量和所述重音标签向量,确定目标音素向量,包括:
将所述音素向量输入编码器,并根据所述编码器输出的向量和所述重音标签向量,确定所述目标音素向量;
所述根据所述目标音素向量确定梅尔频谱,包括:
将所述目标音素向量输入译码器,以得到所述梅尔频谱;
其中,所述编码器用于确定输入向量对应的音素序列中每一音素的发音信息,所述译码器用于根据输入向量对应的每一音素的发音信息进行转换处理,以得到所述每一音素对应的梅尔频谱。
5.根据权利要求1所述的方法,其特征在于,所述语音合成模型是通过如下方式训练得到的:
对所述样本文本对应的音素序列进行向量化,以得到样本音素向量;
根据所述样本文本中标注的所述重音词,确定所述样本文本对应的样本重音标签,并对所述样本重音标签进行向量化,以得到音素级别的样本重音标签向量;
根据所述样本音素向量和所述样本重音标签向量,确定目标样本音素向量,并根据所述目标样本音素向量确定样本梅尔频谱;
根据所述样本梅尔频谱与所述样本音频对应的实际梅尔频谱计算损失函数,并通过所述损失函数调整所述语音合成模型的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京有竹居网络技术有限公司,未经北京有竹居网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011212351.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种纺织用石墨烯防水剂
- 下一篇:一种牙龈袖口成型器及种植牙设备