[发明专利]语音提取方法、系统、装置及存储介质在审
| 申请号: | 202111130337.0 | 申请日: | 2021-09-26 |
| 公开(公告)号: | CN113870891A | 公开(公告)日: | 2021-12-31 |
| 发明(设计)人: | 刘博卿;王健宗;张之勇 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
| 主分类号: | G10L21/0272 | 分类号: | G10L21/0272 |
| 代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 麦广林 |
| 地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 语音 提取 方法 系统 装置 存储 介质 | ||
1.一种语音提取方法,其特征在于,包括:
获取预先注册的目标说话人的特征向量及多通道混合语音的多通道特征向量;
将所述预先注册的目标说话人的特征向量及所述多通道特征向量输入到预设模型提取目标说话人的目标特征向量;
根据所述目标说话人的目标特征向量及所述多通道特征向量确定目标说话人的目标语音信号;
其中,所述预设模型包括特征提取模块和分离模块,所述预设模型的训练方法包括:
获取样本训练数据,所述样本训练数据包括单通道语音的特征向量样本、预先注册的特征向量样本和多通道混合语音的多通道特征向量样本;
将所述预先注册的特征向量样本及所述多通道特征向量样本输入到所述特征提取模块得到第一特征向量;
将所述第一特征向量及所述多通道特征向量样本输入到所述分离模块得到第二特征向量;
根据所述单通道语音的特征向量样本与所述第二特征向量之间的优化目标函数计算优化目标值,根据所述优化目标值更新所述特征提取模块和所述分离模块。
2.根据权利要求1所述的语音提取方法,其特征在于,所述多通道混合语音的多通道特征向量通过以下方法获取:
获取多通道混合语音并将所述多通道混合语音分割成若干个预设长度的混合语音片段;
依次将所述混合语音片段输入到空间编码器得到若干个混合特征向量;
获取单通道混合语音并将所述单通道混合语音分割成若干个预设长度的单通道语音片段;
依次将所述单通道语音片段输入到频谱编码器得到若干个单通道特征向量;
将所述若干个混合特征向量及所述若干个单通道特征向量拼接生成所述多通道特征向量。
3.根据权利要求1所述的语音提取方法,其特征在于,所述特征提取模块包括第一神经网络、第二神经网络及第三神经网络,将所述预先注册的特征向量样本及所述多通道特征向量样本输入到所述特征提取模块得到第一特征向量,包括:
通过所述第一神经网络对所述预先注册的特征向量样本进行处理,获得N维第三特征向量;
通过所述第二神经网络对所述多通道特征向量样本进行处理,获得N维第四特征向量;
将所述N维第三特征向量及所述N维第四特征向量输入到所述第三神经网络进行处理,获得第一特征向量;
其中,N为大于等于2的正整数。
4.根据权利要求3所述的语音提取方法,其特征在于,所述第二神经网络包括第一实例正则层、第一卷积层、TCN层及第二卷积层,所述通过所述第二神经网络对所述多通道特征向量样本进行处理,获得N维第四特征向量,包括:
将所述多通道特征向量样本输入至所述第一实例正则层得到第一处理向量;
将所述第一处理向量输入至所述第一卷积层得到第二处理向量;
将所述第二处理向量输入至所述TCN层得到所述第三处理向量;
将所述第三处理向量输入至所述第二卷积层得到所述N维第四特征向量。
5.根据权利要求1所述的语音提取方法,其特征在于,所述分离模块包括第四神经网络,所述第四神经网络包括第二实例正则层、第三卷积层、TCN单元及第四卷积层,所述TCN单元包括若干个TCN层,所述将所述第一特征向量及所述多通道特征向量样本输入到所述分离模块得到第二特征向量,包括:
将所述第一特征向量及所述多通道特征向量样本输入到所述第二实例正则层得到第四处理向量;
将所述第四处理向量输入到所述第三卷积层得到第五处理向量;
将所述第五处理向量输入到所述TCN单元得到第六处理向量;
将所述第六处理向量输入到所述第四卷积层得到第二特征向量。
6.根据权利要求1所述的语音提取方法,其特征在于,所述优化目标函数如下:
其中,SI_SNR表示优化目标函数,表示第二特征向量,s表示目标说话人单通道的特征向量,||s||2=s,s表示信号能量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111130337.0/1.html,转载请声明来源钻瓜专利网。





