[发明专利]语音处理方法、装置、电子设备和存储介质在审
申请号: | 202111555187.8 | 申请日: | 2021-12-17 |
公开(公告)号: | CN114360562A | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 宁峻;于利标;魏建强 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G10L21/0208 | 分类号: | G10L21/0208;G10L19/02;G10L13/02 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 杜月 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 处理 方法 装置 电子设备 存储 介质 | ||
1.一种语音处理方法,包括:
获取语音信号对应的多个频带分量;
确定所述多个频带分量对应的幅度分量和相位分量;
对所述多个频带分量对应的幅度分量和相位分量进行特征提取,得到所述多个频带分量对应的幅度分量特征和相位分量特征;
将所述多个频带分量对应的幅度分量特征和相位分量特征,输入注意力模型,输出所述多个频带分量对应的幅度修正因子和相位修正因子;
根据所述多个频带分量对应的幅度修正因子和相位修正因子,修正所述多个频带分量对应的幅度分量和相位分量;
根据修正后的所述多个频带分量对应的幅度分量和相位分量,进行子带合成,得到目标语音信号。
2.如权利要求1所述的方法,其中,所述将所述多个频带分量对应的幅度分量特征和相位分量特征,输入注意力模型,输出所述多个频带分量对应的幅度修正因子和相位修正因子,包括:
将所述多个频带分量对应的幅度分量特征和相位分量特征,输入所述注意力模型的编码网络,以得到所述多个频带分量对应的编码特征;
将所述多个频带分量对应的编码特征,输入所述注意力模型的注意力网络,以得到所述多个频带分量对应的融合特征;其中,融合特征包含了对应频带分量在时间维度和频率维度上的特征相关性;
将所述多个频带分量对应的融合特征,输入所述注意力模型的解码网络,以得到所述多个频带分量对应的幅度修正因子和相位修正因子。
3.如权利要求2所述的方法,其中,所述将所述多个频带分量对应的编码特征,输入所述注意力模型的注意力网络,以得到所述多个频带分量对应的融合特征,包括:
将所述多个频带分量对应的编码特征输入所述注意力网络的残差模块,得到所述多个频带分量对应的中间编码特征;
将所述多个频带分量对应的中间编码特征输入所述注意力网络的频率注意力模块,得到所述多个频带分量对应的第一加权系数,并根据所述多个频带分量对应的第一加权系数对所述多个频带分量对应的中间编码特征进行加权,以得到时间维度上加权的多个频带分量对应的第一编码特征;其中,第一加权系数指示了对应频带分量在时间维度上的频率相关性;
将所述多个频带分量对应的中间编码特征,输入所述注意力网络的频率变换模块,得到所述多个频带分量对应的第二加权系数,并根据所述多个频带分量对应的第一加权系数对所述多个频带分量对应的中间编码特征进行加权,以得到频率维度上加权的所述多个频带分量对应的第二编码特征;其中,第二加权系数指示了对应频带分量在频率维度上的时间相关性;
根据所述多个频带分量对应的第一编码特征、第二编码特征和中间编码特征,得到所述多个频带分量对应的融合特征。
4.如权利要求1所述的方法,其中,所述获取语音信号对应的多个频带分量,包括:
获取语音信号;
对所述语音信号进行子带分解,得到所述语音信号对应的多个频带分量。
5.如权利要求1-4任一项所述的方法,其中,所述将所述多个频带分量对应的幅度分量特征和相位分量特征,输入注意力模型,输出所述多个频带分量对应的幅度修正因子和相位修正因子之前,还包括:
获取训练样本;所述训练样本包含待处理的语音信号和标准语音信号;
获取所述待处理的语音信号对应的多个频带分量;
将所述待处理的语音信号对应的多个频带分量输入注意力模型,得到所述多个频带分量对应的幅度修正因子和相位修正因子;
根据所述多个频带分量对应的幅度修正因子和相位修正因子,修正所述多个频带分量对应的幅度分量和相位分量;
根据修正后的多个频带分量对应的幅度分量和相位分量,进行子带合成,得到目标语音信号;
根据所述目标语音信号和所述标准语音信号,确定损失函数,根据所述损失函数对所述注意力模型进行训练;其中,所述损失函数包含复数损失函数和幅度损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111555187.8/1.html,转载请声明来源钻瓜专利网。