[发明专利]一种实时变声的方法、装置及电子设备在审
申请号: | 202110463732.4 | 申请日: | 2021-04-26 |
公开(公告)号: | CN113362807A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 戈文硕;刘恺;陈伟 | 申请(专利权)人: | 北京搜狗智能科技有限公司 |
主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/06;G10L15/22;G10L19/16;G10L21/013 |
代理公司: | 北京华沛德权律师事务所 11302 | 代理人: | 房德权 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 实时 变声 方法 装置 电子设备 | ||
1.一种实时变声的方法,其特征在于,所述方法包括:
获取源说话人的原语音数据;
通过语音识别模型提取所述原语音数据的原始音频识别特征,其中,所述语音识别模型的参数量小于第一设定参数量;
将所述原始音频识别特征输入到目标变声模型中,输出目标说话人的声学特征,其中,所述目标变声模型的参数量小于第二设定参数量;
将所述目标说话人的声学特征以所述目标语音进行输出。
2.如权利要求1所述的方法,其特征在于,所述目标变声模型的训练步骤,包括:
获取训练样本集,所述训练样本集包括至少一个说话人的语音数据;
针对所述训练样本集中的每个训练样本,将训练样本的语音数据输入到所述语音识别模型中进行特征提取,提取到训练样本的音频识别特征,以及提取训练样本的声学特征;
根据每个训练样本的音频识别特征和声学特征进行模型训练,得到所述目标变声模型。
3.如权利要求2所述的方法,其特征在于,所述根据每个训练样本的音频识别特征和声学特征进行模型训练,得到所述目标变声模型,包括:
针对每个训练样本,将训练样本的音频识别特征作为模型的输入数据,将训练样本的声学特征作为模型的输出数据进行模型训练,得到已训练的变声模型,并将所述已训练的变声模型作为所述目标变声模型。
4.如权利要求3所述的方法,其特征在于,在得到已训练的变声模型之后,所述方法还包括:
获取所述目标说话人的语音数据;
将所述目标说话人的语音数据输入到所述语音识别模型中进行特征提取,提取到所述目标说话人的音频识别特征,以及所述目标说话人的声学特征;
利用所述目标说话人的音频识别特征和声学特征对所述已训练的变声模型进行自适应训练,得到自适应变声模型,并将所述自适应变声模型作为所述目标变声模型。
5.如权利要求1所述的方法,其特征在于,所述将所述目标说话人的声学特征以所述目标语音进行输出,包括:
将所述目标说话人的声学特征输入到声码器中以所述目标语音进行输出。
6.一种实时变声的装置,其特征在于,包括:
语音数据采集单元,用于获取源说话人的原语音数据;
特征提取单元,用于通过语音识别模型提取所述原语音数据的原始音频识别特征,其中,所述语音识别模型的参数量小于第一设定参数量;
模型预测单元,用于将所述原始音频识别特征输入到目标变声模型中,输出目标说话人的声学特征,其中,所述目标变声模型的参数量小于第二设定参数量;
语音输出单元,用于将所述目标说话人的声学特征以所述目标语音进行输出。
7.如权利要求6所述的装置,其特征在于,还包括:
模型训练单元,用于获取训练样本集,所述训练样本集包括至少一个说话人的语音数据;针对所述训练样本集中的每个训练样本,将训练样本的语音数据输入到所述语音识别模型中进行特征提取,提取到训练样本的音频识别特征,以及提取训练样本的声学特征;根据每个训练样本的音频识别特征和声学特征进行模型训练,得到所述目标变声模型。
8.如权利要求7所述的装置,其特征在于,所述模型训练单元,用于针对每个训练样本,将训练样本的音频识别特征作为模型的输入数据,将训练样本的声学特征作为模型的输出数据进行模型训练,得到已训练的变声模型,并将所述已训练的变声模型作为所述目标变声模型。
9.如权利要求8所述的装置,其特征在于,所述模型训练单元,用于在得到已训练的变声模型之后,获取所述目标说话人的语音数据;将所述目标说话人的语音数据输入到所述语音识别模型中进行特征提取,提取到所述目标说话人的音频识别特征,以及所述目标说话人的声学特征;利用所述目标说话人的音频识别特征和声学特征对所述已训练的变声模型进行自适应训练,得到自适应变声模型,并将所述自适应变声模型作为所述目标变声模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狗智能科技有限公司,未经北京搜狗智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110463732.4/1.html,转载请声明来源钻瓜专利网。