[发明专利]一种用于少样本意图识别系统的自训练模型构建方法

权利要求书

1.一种用于少样本意图识别系统的自训练模型构建方法，其特征在于采用自训练教师模型与主动学习结合的方法，构建特殊样例选择模块和自适应主动阈值模块，在自训练的过程中筛选出特殊的样例交由数据库进行人工标注，高确定性样例则作为自训练模型中的伪标签，最后将两类标注并入训练集中进行下一轮自训练迭代，其自训练教师模型的构建和主动学习具体包括如下步骤：

步骤一：构建一个由教师模型、已标注数据集和无标注数据集组成的自训练教师模型，将自训练教师模型从一个已标注数据集D_l开始，然后教师模型被应用于预测无标注数据集D_u的一个子集，并将获得的伪标签加入到已标注数据集D_l中重新训练教师模型，进行下一轮的预测并重复执行，直到无标注数据集D_u全部使用或教师模型满足收敛标准结束；

所述自训练教师模型由下述a式进行训练：

z(x)＝1{y|p(x，y)＞t，y∈L} (a)；

其中：1∈{0，1}表示取整函数，当且仅当输入条件成立时取值为1；z是置信度得分；y是伪标注表示由教师模型对输入的x的预测类别；

步骤二：构建一个由自一致性的主动学习算法和自适应主动阈值模块组成的特殊样例选择模块，其建模过程如下：

2-1)利用一个BERT的模型作为教师模型，在给定一个包含有l类标签的意图识别任务中，已标注数据集D_l、无标注数据集D_u、每一轮筛选的主动学习批次大小B和给定一轮对话S_t＝{s₀，s₁，...，s_l-1}的条件下，预测每一轮的对话类别的概率P，并由下述b式优化交叉熵损失函数-logP：

其中：W为模型的参数；p(y_l|x_t；W)为模型预测的对话类别的概率P；

2-2)由下述c式计算当前主动学习批次B中每个类别的预测概率：

2-3)将上述预测概率由下述d式通过最大化置信度分数来生成每个样例的伪标签：

其中：是每个样例的伪标签的类别；

2-4)得到一组由下述e式表示的候选样例集合：

所述自一致性的主动学习算法的处理过程如下：

1)特殊样例选择模块通过训练好的教师模型得到的候选集合K_p和伪标签的预测概率从已标注数据集D_l中初始化和主动学习批次同样大小的真实标注分布，该两个分布由下述f式表示为：

其中：ε是一个极小的正值；c是真实的标注类别；

2)计算上述两个分布之间的距离，得到真实类别与教师模型之间的一致性损失，该一致性损失由下述g式表示为：

其中：D_kl为KL散度；f^w为当前自训练轮次的教师模型及其参数；x_k为对应的无标注样例；

所述自适应主动阈值模块包含了两种阈值，一种为控制每个类别生成的伪标签的数量，另一种为控制应交由数据库人工标注的标签的数量，利用特殊样例选择模块中得到的自一致性损失和当前训练集中真实标注的分布以及当前教师模型的准确率，其中：对每一个类别所需的两种数量的集合定义如下述h～i式表示为：

Np＝α·N_a，α∈N^* (i)；

式中：N_a为一个集合，表示每个意图类别主动学习挑选的应交由数据库人工标注的标签的数量；Np为每个意图类别由模型生成的伪标签的数量；B为主动学习批次的大小；为取整函数；p_i为相应的类别的预测概率；λ和α是放大系数；

步骤三：在给定了上述一致性损失和类别平衡的约束后，且由下述j～k式对这些特殊样例进行筛选的置信度得分计算和排序：

Score(s_i)＝p_k-L_k(x_k，f^w) (j)；

其中：Score( )为当前主动学习批次的的得分；s_i为预测对话x_i的得分，为内部元素按从大到小排序；

步骤四：根据排序的列表和两种类别数量的约束后，挑选置信度得分较低的作为特殊样例交由数据库进行人工标注后加入到训练集，并将高置信度得分的样例作为伪标签加入到训练集中，即可利用少量的有标注数据，在自训练的过程中筛选出特殊的样例交由数据库进行人工标注，同时生成高置信度的伪标签。