[发明专利]歌曲生成方法、装置、电子设备及存储介质有效
申请号: | 202110593727.5 | 申请日: | 2021-05-28 |
公开(公告)号: | CN113409747B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | 肖金霸;车浩;张冉;王晓瑞 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G10H1/00 | 分类号: | G10H1/00;G10H1/36 |
代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 桂艳球 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 歌曲 生成 方法 装置 电子设备 存储 介质 | ||
1.一种歌曲生成方法,其特征在于,包括:
获取歌词文本和乐谱信息,获取目标演唱者身份信息,以及,获取与目标歌曲风格对应的第一参考输出向量;
将所述歌词文本和所述乐谱信息输入至歌曲生成模型中的编码网络,生成第一编码输出向量;
将所述第一编码输出向量、所述第一参考输出向量以及第一声纹特征向量输入至所述歌曲生成模型中的解码网络中,生成第一歌曲,其中,所述第一声纹特征向量为所述歌曲生成模型中与所述目标演唱者身份信息对应的声纹特征向量,所述第一歌曲为具有所述目标演唱者身份信息对应的演唱者的声纹信息及所述目标歌曲风格的歌曲;
所述方法,还包括:
将歌曲训练集中的歌曲作为训练歌曲,其中,所述歌曲训练集包括标注有演唱者身份信息的至少一首歌曲;
获取所述训练歌曲的歌词文本和乐谱信息输入至待训练的歌曲生成模型的编码网络中,生成第二编码输出向量;以及,通过待训练的歌曲生成模型的全局风格符号网络,提取所述训练歌曲的第二参考输出向量;
将所述第二编码输出向量、所述第二参考输出向量以及所述训练歌曲的演唱者身份信息输入至待训练的歌曲生成模型的解码网络中,生成第二歌曲;
计算得到所述第二歌曲与所述训练歌曲之间的第一损失;
基于所述第一损失,更新待训练的歌曲生成模型中所述编码网络、所述解码网络和所述全局风格符号网络的参数,以及,更新待训练的歌曲生成模型中与所述训练歌曲的演唱者身份信息对应的声纹特征向量,得到所述歌曲生成模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一损失,更新待训练的歌曲生成模型中所述编码网络、所述解码网络以及所述全局风格符号网络的参数之前,还包括:
计算第二损失,其中,所述第二损失为待训练的歌曲生成模型的全局风格符号网络中多个风格符号之间的余弦相似度之和;
所述基于所述第一损失,更新待训练的歌曲生成模型中所述编码网络、所述解码网络以及所述全局风格符号网络的参数,以及,更新待训练的歌曲生成模型中与所述训练歌曲的演唱者身份信息对应的声纹特征向量,包括:
基于所述第一损失和所述第二损失,更新待训练的歌曲生成模型中所述编码网络、所述解码网络以及所述全局风格符号网络的参数,以及,更新待训练的歌曲生成模型中与所述训练歌曲的演唱者身份信息对应的声纹特征向量。
3.根据权利要求1所述的方法,其特征在于,所述获取与目标歌曲风格对应的第一参考输出向量,包括:
接收到输入的参考歌曲,其中,所述参考歌曲为具有目标歌曲风格的歌曲;
将所述参考歌曲输入至所述歌曲生成模型中的全局风格符号网络中,提取第一参考输出向量。
4.根据权利要求1所述的方法,其特征在于,所述获取与目标歌曲风格对应的第一参考输出向量,包括:
接收输入至所述歌曲生成模型的全局风格符号网络中的风格符号权重信息,其中,所述风格符号权重信息包括所述全局风格符号网络中的多个风格符号的权重,所述多个风格符号中不同风格符号用于表征不同的歌曲风格,且所述风格符号权重信息用于指示目标歌曲风格;
所述全局风格符号网络生成与所述风格符号权重信息对应的第一参考输出向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110593727.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于PPER-DQN的双变跳频图案智能决策方法
- 下一篇:一种电感