[发明专利]一种情感语音的合成方法及合成装置在审
申请号: | 202210529681.5 | 申请日: | 2022-05-16 |
公开(公告)号: | CN114927122A | 公开(公告)日: | 2022-08-19 |
发明(设计)人: | 詹皓粤;余心远;林悦 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/047;G10L13/08;G10L13/10;G10L13/033 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 高燕 |
地址: | 310052 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 情感 语音 合成 方法 装置 | ||
1.一种情感语音的合成方法,其特征在于,所述合成方法包括:
确定待合成情感语音所对应的原始文本、目标情感、目标音色和情感音色;
拆分所述原始文本以得到构成所述原始文本的多个目标音节;
基于所述目标情感和所述情感音色对所述多个目标音节中的每个目标音节进行映射处理,得到每个目标音节的语音特征序列;所述语音特征序列包括以下项中的至少一项:发音时长、音高和能量;
整合所述多个目标音节中的每个目标音节的语音特征序列,得到所述原始文本所对应的语音特征;
利用所述原始文本的语音特征和所述目标音色,合成与所述原始文本对应的且具有所述目标情感和所述目标音色的目标情感语音。
2.如权利要求1所述的合成方法,其特征在于,所述确定待合成情感语音所对应的原始文本、目标情感、目标音色和情感音色的步骤,包括:
响应于情感语音合成指令,获取待合成情感语音所对应的原始文本、目标情感和目标音色;
查找预定情感音库,当所述目标情感对应一个音色时,将所述对应的音色确定为情感音色;
当所述目标情感对应多个音色时,利用自然语言处理技术对所述原始文本进行语义分析,确定所述原始文本中包含的情感的情感强度;
从所述目标情感对应的多个音色中筛选出与所述情感强度相符的音色,并将与所述情感强度相符的音色作为所述情感音色;其中,音色与所述情感强度相符是指在所述预定情感音库包括的多个样本语音中,与该音色对应且具有所述目标情感的至少一个样本语音中所蕴含的目标情感的强度与所述情感强度相符。
3.如权利要求1所述的合成方法,其特征在于,所述基于所述目标情感和所述情感音色对所述多个目标音节中的每个目标音节进行映射处理,得到每个目标音节的语音特征序列的步骤,包括:
基于预设的映射关系表,确定所述多个目标音节中每个目标音节在所述目标情感和所述情感音色下映射出的语音特征序列。
4.如权利要求3所述的合成方法,其特征在于,所述预设的映射关系表通过以下步骤被确定:
获取多个样本语音;每个样本语音标记有情感标记和音色标记;
针对多个样本语音中的每个样本语音,确定该样本语音中每个语音帧的频谱特征和从该样本语音对应的样本文本拆分出的多个样本音节;
从该样本语音的首个语音帧和该样本语音对应的首个样本音节开始,根据每个语音帧的频谱特征将语音帧和样本音节进行对齐,确定出每个样本音节对应的一个或多个语音帧;
针对每个样本音节,基于该样本音节对应的一个或多个语音帧确定该样本音节的发音时长;
基于该样本音节对应的一个或多个语音帧的频谱特征,根据音频算法确定该样本音节的音高和能量;
将该样本音节对应的发音时长、音高和能量确定为该样本音节的语音特征序列;
根据每个样本语音中每个样本音节的语音特征序列、每个样本语音的情感标记和音色标记,构建用于表征在不同情感和不同音色下音节到语音特征序列的映射关系的映射关系表。
5.如权利要求4所述的合成方法,其特征在于,所述整合所述多个目标音节中的每个目标音节的语音特征序列,得到所述原始文本所对应的语音特征的步骤,包括:
针对每个目标音节,将该目标音节、所述目标情感以及该目标音节的语音特征序列输入预先训练好的语音特征处理模型进行特征融合,得到该目标音节的融合语音特征;
根据该目标音节的发音时长确定该目标音节的融合语音特征的复制次数,并按照所述复制次数对该目标音节的融合语音特征进行复制,得到该目标音节的中间语音特征;
整合所述原始文本的每个目标音节的中间语音特征,得到所述原始文本所对应的语音特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210529681.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:快速分解的有机肥加工设备
- 下一篇:复合材料挠性联轴器