[发明专利]一种基于性别和语言的说话人识别方法及系统

权利要求书

1.一种基于性别和语言的说话人识别方法，其特征在于，包括：

获取待识别语音数据，所述的语音数据为包含有效说话人音频的音频文件；

将音频文件通过降噪处理得到低噪声的语音音频；

将降噪后的语音音频通过SMAC特征提取得到语音频谱特征图；

将语音频谱特征图输入ResNet模型中得到语音特征向量；

将语音特征向量输入到多目标学习模型中，识别得到说话人身份、说话人性别以及说话人使用的语言信息；

通过将识别得到的说话人身份、说话人性别以及说话人使用的语言信息进行加权融合，得到待识别语音数据对应的说话人识别结果。

2.根据权利要求1所述的一种基于性别和语言的说话人识别方法，其特征在于，所述的SMAC特征提取方法为：

将语音音频通过滤波器处理：

x_q(ω，t)＝x(ω，t)H_q(ω)

q＝1,2,...，Q

其中，t表示在第t时刻，ω是频谱的自变量，X(ω,t)表示的第t时刻不同频率下的信息强度；H_q(ω)表示第q个滤波器，α表示控制滤波器带宽宽度的参数，ω_q是第q个滤波器的中心频率，Q是滤波器的数量；X_q(ω,t)表示第q个滤波器的滤波结果；

计算滤波结果的0阶中心矩和1阶中心矩：

其中，m表示中心距的阶数，M^m(q,t)表示滤波结果的m阶中心矩；

将1阶中心矩和0阶中心矩的比值作为语音频谱特征：

其中，R¹(q,t)表示第q个语音频谱特征，Q个语音频谱特征构成语音频谱特征图。

3.根据权利要求1所述的一种基于性别和语言的说话人识别方法，其特征是，所述的多目标学习模型包含三个识别任务：说话人身份识别、说话人性别识别以及说话人使用的语言信息识别，由N层共享层和三层隐含层构成；

所述的N层共享层依次连接，在训练过程中，共享层的参数受三个任务的识别结果影响；三层隐含层的输入分别连接第N层共享层的输出，三层隐含层的输出分别为说话人身份、说话人性别以及说话人使用的语言信息识别结果，在训练过程中，隐藏层的参数只受到相应识别任务的影响。

4.根据权利要求3所述的一种基于性别和语言的说话人识别方法，其特征在于，所述的多目标学习模型还包括融合层，所述的融合层用于融合三个识别任务的输出结果，每一个识别任务的输出结果设有可训练权重参数，融合层将三个识别任务的加权结果作为最终识别结果。

5.一种基于性别和语言的说话人识别系统，其特征在于，用于实现权利要求1所述的说话人识别方法，所述的说话人识别系统包括：

声音采集模块，用于采集说话人的语音音频数据；

音频滤波模块，用于对采集的语音音频数据进行滤波，消除噪音；

说话人识别模块，用于对滤波处理后的语音音频数据进行说话人识别；

识别结果展示模块，用于将识别结果进行可视化处理。

6.基于权利要求5所述的一种基于性别和语言的说话人识别系统，其特征是，所述的说话人识别模块包括：

音频频谱转换模块，用于对语音音频进行SMAC特征提取，转换得到语音频谱特征图；

频谱特征提取模块，用于提取语音频谱特征图的特征向量。

多目标学习模型模块，其包含三个识别任务：说话人身份识别、说话人性别识别以及说话人使用的语言信息识别，由N层共享层、三层隐含层和一层融合层构成；所述的N层共享层依次连接，在训练过程中，共享层的参数受三个任务的识别结果影响；三层隐含层的输入分别连接第N层共享层的输出，三层隐含层的输出分别为说话人身份、说话人性别以及说话人使用的语言信息识别结果，在训练过程中，隐藏层的参数只受到相应识别任务的影响；所述的融合层用于融合三个识别任务的输出结果，每一个识别任务的输出结果设有可训练权重参数，融合层将三个识别任务的加权结果作为最终识别结果。