[发明专利]一种基于性别和语言的说话人识别方法及系统在审
申请号: | 202210014706.8 | 申请日: | 2022-01-07 |
公开(公告)号: | CN114360551A | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 徐文渊;冀晓宇;程雨诗;高逸卓 | 申请(专利权)人: | 浙江大学 |
主分类号: | G10L17/02 | 分类号: | G10L17/02;G10L17/04;G10L17/18 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 郑海峰 |
地址: | 310058 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 性别 语言 说话 识别 方法 系统 | ||
本发明公开了一种基于性别和语言的说话人识别方法及系统,属于说话人识别领域。包括:获取待识别语音数据,具体为包含有效说话人音频的音频文件;将音频文件通过降噪处理得到低噪声的语音音频;将降噪后的语音音频通过SMAC特征提取得到语音频谱特征图;将语音频谱特征图输入ResNet模型中得到语音特征向量;将语音特征向量输入到多目标学习模型中,识别得到说话人身份、说话人性别以及说话人使用的语言信息;通过将三个识别任务结果进行加权融合,得到待识别语音数据对应的说话人识别结果。本发明综合利用了语音中带有的性别信息和语言信息,有效的提高了说话认识别的鲁棒性,特别是在说话人语音变化的情况下,识别精度高。
技术领域
本发明涉及说话人识别领域,尤其涉及一种基于性别和语言的说话人识别方法及系统。
背景技术
随着人工智能的不断发展,越来越多的智能身份识别技术被应用在了生活中,包括了人脸识别、指纹识别以及近些年来兴起的声纹识别。声纹识别又称为说话人识别,通过分析一段音频内容来识别该音频是属于哪一位说话人的。说话人可以被用来进行身份认证,因为其便捷的特性而被广泛关注。
现有技术中,对于说话人识别的方法大多关注单一因素即说话人本身的识别,这种方式要求说话人在注册声纹以及识别声纹两个阶段,需要保持说话的方式相似,当说话人使用不同音调时,会导致识别准确度下降。
发明内容
本发明要解决的技术问题,在于提供一种基于性别和语言的说话认识别方法及系统,结合语音内容中包含的性别信息以及语言信息进行说话人识别,解决当语言音调变化情况下,单一因素识别方法的准确率下降的技术问题。
为实现上述目的,本发明采用下述技术方案:
本发明的第一个目的在于提供一种基于性别和语言的说话人识别方法,所述方法包括:
获取待识别语音数据,所述的语音数据为包含有效说话人音频的wav格式的音频文件;
将音频文件通过降噪处理得到低噪声的语音音频;
将语音音频通过SMAC特征提取得到语音频谱特征图;
将语音频谱特征图输入ResNet模型中得到语音特征向量;
将语音特征向量输入到多目标学习模型中,识别得到说话人身份、说话人性别以及说话人使用的语言信息;
通过将识别得到的说话人身份、说话人性别以及说话人使用的语言信息进行加权融合,得到待识别语音数据对应的说话人识别结果。
进一步的,所述的多目标学习模型包含三个识别任务:说话人身份识别、说话人性别识别以及说话人使用的语言信息识别,由N层共享层、三层隐含层和一层融合层构成;
所述的N层共享层依次连接,在训练过程中,共享层的参数受三个任务的识别结果影响;三层隐含层的输入分别连接第N层共享层的输出,三层隐含层的输出分别为说话人身份、说话人性别以及说话人使用的语言信息识别结果,在训练过程中,隐藏层的参数只受到相应识别任务的影响;
所述的融合层用于融合三个识别任务的输出结果,每一个识别任务的输出结果设有可训练权重参数,融合层将三个识别任务的加权结果作为最终识别结果。
本发明的第二个目的在于提供一种基于性别和语言的说话人识别系统,用于实现上述的说话人识别方法;所述系统包括:
声音采集模块,用于采集说话人的语音音频数据;
音频滤波模块,用于对采集的语音音频数据进行滤波,消除噪音;
说话人识别模块,用于对滤波处理后的语音音频数据进行说话人识别;
识别结果展示模块,用于将识别结果进行可视化处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210014706.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种顶板水平度检测装置
- 下一篇:一种水漆干燥方法