[发明专利]语音合成方法、装置、电子设备及存储介质在审
申请号: | 202011452787.7 | 申请日: | 2020-12-11 |
公开(公告)号: | CN112509554A | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 孙奥兰;王健宗;程宁 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/08;G10L13/04 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 电子设备 存储 介质 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
接收字符文本,将所述字符文本进行拼音置换,得到字符拼音,利用预构建的字母表,计算所述字符拼音在所述字母表的字符位置;
对所述字符位置及所述字符拼音执行编码操作,得到字符向量;
将所述字符向量输入至预训练完成的注意力特征模型中,其中所述注意力特征模型包括多头注意力网络、字符特征提取网络;
利用所述多头注意力网络对所述字符向量执行注意力计算,得到注意力向量;
对所述注意力向量及所述字符向量执行残差连接,得到字符注意力向量;
利用所述字符特征提取网络,对所述字符注意力向量执行特征提取,得到字符特征序列;
将所述字符向量输入至预构建的发音停顿预测模型,得到发音停顿序列;
将所述字符特征序列及所述发音停顿序列执行残差连接,得到语音序列,利用预构建的声码合成器,对所述语音序列执行语音合成,得到所述字符文本的合成语音。
2.如权利要求1所述的语音合成方法,其特征在于,所述利用所述字符特征提取网络,对所述字符注意力向量执行特征提取,得到字符特征序列,包括:
对所述字符注意力向量执行归一化,得到字符归一化向量;
对所述归一化向量执行卷积操作,得到字符卷积向量;
对所述字符卷积向量与所述字符注意力向量执行残差连接,得到所述字符特征序列。
3.如权利要求2所述的语音合成方法,其特征在于,所述对所述归一化向量执行卷积操作,得到字符卷积向量,包括:
根据预设卷积核维度构建卷积核;
利用所述卷积核对所述归一化向量执行卷积操作,得到所述字符卷积向量。
4.如权利要求1所述的语音合成方法,其特征在于,所述将所述字符向量输入至预构建的发音停顿预测模型,得到发音停顿序列,包括:
将所述字符拼音进行词向量转化,得到拼音向量;
将所述拼音向量及所述字符向量输入至所述发音停顿预测模型,利用所述发音停顿预测模型对所述拼音向量及所述字符向量执行傅里叶变换,得到傅里叶变换序列;
对所述傅里叶变换序列执行发音停顿预测,得到所述发音停顿序列。
5.如权利要求1所述的语音合成方法,其特征在于,所述预训练完成的注意力特征模型,包括:
步骤A:构建包括所述多头注意力网络及所述字符特征提取网络的待训练注意力特征模型;
步骤B:接收训练文本集及训练标签集,将所述训练文本集输入至所述待训练注意力特征模型进行特征提取,得到特征序列训练集;
步骤C:构建多层线性激活层;
步骤D:利用所述多层线性激活层,对所述特征序列训练集执行激活操作,得到预测序列集;
步骤E:计算所述预测序列集与所述训练标签集的误差值,并判断所述误差值与预设的误差阈值的大小关系;
步骤F:若所述误差值大于所述误差阈值,调整所述待训练注意力特征模型的内部参数,并返回步骤B;
步骤G:若所述误差值小于或等于所述误差阈值,得到所述注意力特征模型。
6.如权利要求5所述的语音合成方法,其特征在于,所述将所述训练文本集输入至所述待训练注意力特征模型进行特征提取,得到特征序列训练集,包括:
将所述训练文本集进行拼音置换,得到拼音训练集;
计算所述拼音训练集在所述字母表的字符位置,得到位置训练集;
对所述拼音训练集及所述位置训练集执行编码操作,得到向量训练集;
利用所述多头注意力网络对所述向量训练集执行注意力计算,得到注意力向量集;
对所述注意力向量集及所述向量训练集执行残差连接,得到注意力向量训练集;
利用所述字符特征提取网络,对所述注意力向量训练集执行特征提取,得到所述特征序列训练集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011452787.7/1.html,转载请声明来源钻瓜专利网。