[发明专利]语音合成方法和装置、电子设备及存储介质在审
申请号: | 202110783977.5 | 申请日: | 2021-07-12 |
公开(公告)号: | CN113409760A | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 周鸿斌;李林;苏志霸;贺雯迪;叶剑豪;任凯盟;贺天威;卢恒 | 申请(专利权)人: | 上海喜马拉雅科技有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/04;G10L25/21 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 张萌 |
地址: | 201100 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 电子设备 存储 介质 | ||
1.一种语音合成方法,其特征在于,包括:
获取待处理语音数据的对数梅尔能量谱;
将所述待处理语音数据的对数梅尔能量谱输入预设的语音合成模型,得到第一合成音频,其中,所述预设的语音合成模型根据训练数据的对数梅尔能量谱进行训练得到。
2.如权利要求1所述的语音合成方法,其特征在于,所述获取待处理语音数据的对数梅尔能量谱的步骤,包括:
获取所述待处理语音数据;
对所述待处理语音数据进行能量谱计算,得到所述待处理语音数据的能量谱;
对所述能量谱进行对数梅尔能量谱计算,得到所述待处理语音数据的对数梅尔能量谱。
3.如权利要求2所述的语音合成方法,其特征在于,所述对所述待处理语音数据进行能量谱计算,得到所述待处理语音数据的能量谱的步骤,包括:
对所述待处理语音数据进行分帧处理,得到所述待处理语音数据的音频序列;
对所述音频序列进行短时傅立叶变换处理,得到所述待处理语音数据的频谱;
对所述频谱进行频谱能量计算,得到所述待处理语音数据的能量谱。
4.如权利要求1所述的语音合成方法,其特征在于,所述将所述待处理语音数据的对数梅尔能量谱输入预设的语音合成模型,得到第一合成音频的步骤,包括:
将所述待处理语音数据的对数梅尔能量谱输入预设的语音合成模型,根据预设的伪逆矩阵计算得到所述待处理语音数据的伪逆能量谱;
对所述伪逆能量谱进行短时傅立叶变换处理,得到所述待处理语音数据的变换音频;
对所述待处理语音数据的对数梅尔能量谱和变换音频进行合成处理,得到所述待处理语音数据的第一合成音频。
5.如权利要求1所述的语音合成方法,其特征在于,所述语音合成方法还包括训练语音合成模型的步骤,该步骤包括:
获取所述训练数据的对数梅尔能量谱;
对所述训练数据的对数梅尔能量谱进行语音合成处理,得到所述训练数据的第二合成音频;
根据所述训练数据的预设参数和所述第二合成音频对预设模型进行训练,得到语音合成模型。
6.如权利要求5所述的语音合成方法,其特征在于,所述预设参数包括相关系数,所述根据所述训练数据的预设参数和所述第二合成音频对预设模型进行训练,得到语音合成模型的步骤,包括:
对所述训练数据进行相关系数计算,得到第一相关系数,对所述第二合成音频进行相关系数计算,得到第二相关系数;
根据所述第一相关系数和所述第二相关系数计算得到第一均方误差,根据所述第一均方误差对预设模型进行训练得到语音合成模型。
7.如权利要求5所述的语音合成方法,其特征在于,所述预设参数包括线性预测编码,所述根据所述训练数据的预设参数和所述第二合成音频对预设模型进行训练,得到语音合成模型的步骤,包括:
对所述训练数据进行线性预测编码计算,得到线性预测编码,根据所述线性预测编码对所述第二合成音频进行重构处理,得到重构音频;
根据所述第二合成音频和重构音频进行计算得到第二均方误差,根据所述第二均方误差对预设模型进行训练得到语音合成模型。
8.一种语音合成装置,其特征在于,包括:
数据获取模块,用于获取待处理语音数据的对数梅尔能量谱;
语音合成模块,用于将所述待处理语音数据的对数梅尔能量谱输入预设的语音合成模型,得到第一合成音频,其中,所述预设的语音合成模型根据训练数据的对数梅尔能量谱进行训练得到。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7任一项所述的语音合成方法。
10.一种存储介质,其特征在于,所述存储介质包括计算机程序,所述计算机程序运行时控制所述存储介质所在电子设备执行权利要求1至7任一项所述的语音合成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海喜马拉雅科技有限公司,未经上海喜马拉雅科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110783977.5/1.html,转载请声明来源钻瓜专利网。