[发明专利]歌声合成方法、系统及计算机设备在审
申请号: | 202210529792.6 | 申请日: | 2022-05-16 |
公开(公告)号: | CN114974183A | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 游惟雅;周绍焕;康世胤;吴志勇;游于人;户建坤;陀得意 | 申请(专利权)人: | 广州虎牙科技有限公司;清华大学深圳国际研究生院 |
主分类号: | G10H1/00 | 分类号: | G10H1/00 |
代理公司: | 成都极刻智慧知识产权代理事务所(普通合伙) 51310 | 代理人: | 唐维虎 |
地址: | 510000 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 歌声 合成 方法 系统 计算机 设备 | ||
1.一种歌声合成方法,其特征在于,所述方法包括:
将数字乐谱进行切分,得到多个乐谱片段,并获取每个乐谱片段的帧数序列和音高ID序列;
依次将各所述乐谱片段的帧数序列和音高ID序列输入倚音预测模型中,得到所述数字乐谱的倚音位置信息以及倚音音高信息;
根据所述倚音位置信息以及倚音音高信息在所述数字乐谱中添加对应的倚音信息;
将添加了倚音信息后的数字乐谱输入歌声合成模型中进行歌声合成。
2.根据权利要求1所述的歌声合成方法,其特征在于,将数字乐谱进行切分,得到多个乐谱片段,包括:
从所述数字乐谱中提取每个音符的音阶信息和时长信息;
根据所述音阶信息和时长信息对所述数字乐谱进行前处理;
根据前处理后的数字乐谱中的休止符和换气符对该数字乐谱进行切分,得到多个乐谱片段,其中,每个乐谱片段包括至少三个音符,且每个乐谱片段的开头和结尾分别包括一个换气符时长和一个休止符时长。
3.根据权利要求2所述的歌声合成方法,其特征在于,根据所述音阶信息和时长信息对所述数字乐谱进行前处理,包括:
将所述数字乐谱中连续的、且具有相同音阶的同一个字进行合并,并将合并前的各个字的时长之和作为合并后的字的时长;和/或
将连续的休止符以及连续的换气符进行合并,并将合并前的各个休止符的时长之和作为合并后的休止符的时长以及将合并前的各个换气符的时长之和作为合并后的换气符的时长。
4.根据权利要求1所述的歌声合成方法,其特征在于,获取每个乐谱片段的帧数序列和音高ID序列添加对应的倚音信息,包括:
针对每一乐谱片段,将该乐谱片段中的各个音阶转化为对应的音高ID,得到一音高ID序列;
将该乐谱片段中的各个音阶的浮点数时长,转化为帧数,得到一帧数序列。
5.根据权利要求1-4任意一项所述的歌声合成方法,其特征在于,所述倚音预测模型包括嵌入层、双向长短期记忆层、全连接层、以及条件随机场层,其中,依次将各所述乐谱片段的帧数序列和音高ID序列输入倚音预测模型中,得到所述数字乐谱的倚音位置信息以及倚音音高信息,包括:
将所述乐谱片段的帧数序列和音高ID序列输入所述嵌入层,对所述帧数序列和音高ID序列进行向量映射,得到所述乐谱片段各音符的时长向量和音高向量,并将各音符的时长向量和音高向量相加得到各音符对应的输入特征向量;
将所述各音符对应的输入特征向量输入所述双向长短期记忆层进行处理,并将所述双向长短期记忆层的输出送入所述全连接层得到每个输入特征向量对多个预测标签的分数;
将每个输入特征向量对各预测标签的分数输入所述条件随机场层,由所述条件随机场层根据每个输入特征向量对各预测标签的分数得到所述乐谱片段对应的倚音位置序列以及倚音音高差序列;所述倚音位置序列包括表征对应位置处是否包含倚音的标识,所述倚音音高差序列包括所述乐谱片段中每个位置的倚音音高差。
6.根据权利要求5所述的歌声合成方法,其特征在于,所述预测标签包括倚音预测标签和音高预测标签,所述倚音预测标签包括“句头”、“句尾”、“倚音”、“非倚音”四个标签,所述输入特征向量被预测为各所述倚音预测标签的概率值作为该输入特征向量对各所述倚音预测标签的分数;所述音高预测标签包括“开头”、“结尾”、“音高差为0”、“音高差为1”、“音高差为2”五个音高预测标签,所述输入特征向量被预测为各所述音高预测标签的概率值作为该输入特征向量对各所述音高预测标签的分数;音高差为0表示对应的音符位置不含倚音、音高差为1表示对应的音符位置的倚音比其后一个主音的音高低一个半音,音高差为2表示对应的音符位置的倚音比其后一个主音的音高低一个全音。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司;清华大学深圳国际研究生院,未经广州虎牙科技有限公司;清华大学深圳国际研究生院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210529792.6/1.html,转载请声明来源钻瓜专利网。