[发明专利]一种聚焦样本特征间距的全生命周期语音情感识别方法

权利要求书

1.一种聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，包括以下步骤：

步骤S101，对输入的训练样本进行随机增强；

步骤S102，引入在大规模数据集上训练得到的模型作为预训练模型；

步骤S103，使用步骤S102中引入的预训练模型对步骤S101中得到的样本实例进行特征提取，定义正负样本，计算有监督对比学习损失；

步骤S104，计算交叉熵损失，与步骤S103中计算得到的有监督对比学习损失加权求和，对模型预训练微调；

步骤S105，使用步骤S104中微调得到的模型，得到训练样本的表征-标签键值对，构建数据存储集合；

步骤S106，给定测试样本，在步骤S105得到的数据存储集合中,检索到与测试样本最近邻的K个样本，并记录其标签分布情况；

步骤S107，对于步骤S106中给定的测试样本，利用步骤S104中的模型预测其输出分布；

步骤S108，将步骤S106和步骤S107得到的分布加权求和，得到测试样本最终预测标签。

2.如权利要求1所述的聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，所述步骤103中计算有监督对比学习损失L_scl如下：

其中i∈I＝{1，……，2N}表示一个实例的索引，N为样本数，A(i)表示除i外的所有索引，P(i)表示和样本i具有相同标签的所有正样本的索引，a∈A(i)表示具体的某个除i外的样本索引，p∈P(i)表示具体的某个和样本i具有相同标签的正样本的索引；τ为计算有监督对比学习损失的超参数；x_i，x_p，x_a分别表示对应下标的音频样本的特征向量。

3.如权利要求2所述的聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，所述步骤104中计算交叉熵损失L_ce如下：

其中，N表示样本个数，C表示种类个数，y_i表示音频样本标签，为模型预测的第i个样本属于第c类的概率结果。

4.如权利要求3所述的聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，所述步骤104将有监督对比学习损失L_scl和交叉熵损失L_ce进行加权求和，得到模型最终的损失L如下：

L＝(1-μ)L_ce+μL_scl

其中，μ为平衡交叉熵损失和对比学习损失的超参数。

5.如权利要求1所述的聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，所述步骤105包括：使用步骤S104中微调得到的模型，对所有训练集样本数据进行一次前向传播，根据样本的表征向量和标签，创建包含所有训练集样本数据和验证集样本数据的数据存储集合，存储格式如下：

(K，V)＝{(x_i，y_i)，i∈D}

其中，D为训练集和验证集的所有样本索引的集合，x_i表示第i个音频样本经过步骤S104中模型计算得到的特征向量，y_i为第i个音频样本对应的标签。

6.如权利要求1所述的聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，所述步骤108包括：综合从步骤S106中的数据存储集合中的检索结果以及步骤S107中的模型推理结果，对其进行加权求和，得到测试样本最终预测分布p(y|x)如下：

p(y|x)＝αp_knn(y|x)+(1-α)p_model(y|x)

其中，α为调整p_knn(y|x)和p_model(y|x)比例的超参数，p_knn(y|x)为步骤S106检索到与测试样本最近邻的K个样本并记录其中各个类别标签的分布情况，p_model(y|x)为步骤S107中利用步骤S104中微调得到的模型对其进行推理，预测输出分布情况。

7.如权利要求1所述的聚焦样本特征间距的全生命周期语音情感识别方法，其特征在于，所述预训练模型为Wav2vec2.0模型。