[发明专利]一种音频合成方法及相关方法和设备有效
申请号: | 202210371934.0 | 申请日: | 2022-04-11 |
公开(公告)号: | CN114512113B | 公开(公告)日: | 2023-04-04 |
发明(设计)人: | 耿乐;马桂林;夏立勋;赵力 | 申请(专利权)人: | 科大讯飞(苏州)科技有限公司 |
主分类号: | G10L13/08 | 分类号: | G10L13/08;G10L13/02;G10L25/63 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王云晓 |
地址: | 215000 江苏省苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 音频 合成 方法 相关 设备 | ||
1.一种音频合成方法,其特征在于,包括:
获取目标文本,并合成所述目标文本对应的音频;
确定所述目标文本在情感空间中的位置;
根据所述目标文本在所述情感空间中的位置,以及背景音乐集中的每首背景音乐在所述情感空间中的位置,确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离;所述目标文本在情感空间中的位置与所述背景音乐在所述情感空间中的位置为坐标位置;所述距离为欧式距离、余弦距离、车比雪夫距离中的任一种;
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离,从所述背景音乐集中确定与所述目标文本匹配的背景音乐;
将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
2.根据权利要求1所述的音频合成方法,其特征在于,与所述目标文本匹配的背景音乐为多首;
所述将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合,包括:
将与所述目标文本匹配的多首背景音乐与所述目标文本对应的音频进行融合。
3.根据权利要求1所述的音频合成方法,其特征在于,所述情感空间为由设定情感属性维度组成的空间;
所述目标文本在所述情感空间中的位置通过所述目标文本在所述设定情感属性维度对应的情感属性值表征;一背景音乐在所述情感空间中的位置通过该音乐在所述设定情感属性维度对应的情感属性值表征。
4.根据权利要求3所述的音频合成方法,其特征在于,所述确定所述目标文本在情感空间中的位置,包括:
基于预先构建的文本情感属性值预测模型,预测所述目标文本在所述设定情感属性维度对应的情感属性值,其中,所述文本情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练文本训练得到;
确定一背景音乐在所述情感空间中的位置,包括:
基于预先构建的音乐情感属性值预测模型,预测该背景音乐在所述设定情感属性维度对应的情感属性值,其中,所述音乐情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练背景音乐训练得到。
5.根据权利要求4所述的音频合成方法,其特征在于,所述文本情感属性值预测模型和所述音乐情感属性值预测模型均为回归模型;
所述文本情感属性值预测模型能够将输入的文本映射到连续的情感空间,所述音乐情感属性值预测模型能够将输入的背景音乐映射到连续的情感空间。
6.根据权利要求4所述的音频合成方法,其特征在于,所述基于预先构建的文本情感属性值预测模型,预测所述目标文本在所述设定情感属性维度对应的情感属性值,包括:
对所述目标文本提取文本特征;
将所述文本特征输入所述文本情感属性值预测模型,得到所述文本情感属性值预测模型输出的所述目标文本在所述设定情感属性维度对应的情感属性值;
所述基于预先构建的音乐情感属性值预测模型,预测该背景音乐在所述设定情感属性维度对应的情感属性值,包括:
对该背景音乐提取音频特征;
将所述音频特征输入所述音乐情感属性值预测模型,得到所述音乐情感属性值预测模型输出的该背景音乐在所述设定情感属性维度对应的情感属性值。
7.根据权利要求3所述的音频合成方法,其特征在于,所述设定情感属性维度为多个,所述情感空间为由多个设定情感属性维度组成的多维空间;
所述目标文本在所述情感空间中的位置通过所述目标文本在所述多个设定情感属性维度分别对应的情感属性值表征;一背景音乐在所述情感空间中的位置通过该背景音乐在所述多个设定情感属性维度分别对应的情感属性值表征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科大讯飞(苏州)科技有限公司,未经科大讯飞(苏州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210371934.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:激光锡焊方法、装置及系统
- 下一篇:一种用于治疗小儿肺炎的药物组合物及其用途