[发明专利]一种序列标注模型的训练方法及装置

说明书

本发明涉及自然语言处理领域，特别涉及一种序列标注模型的训练方法及装置，用以在样本数据量不足的情况下对序列标注模型进行有效训练，该方法为：基于样本训练语句集合对序列标注模型进行训练，得到第一损失信息，在根据模型参数确定对抗扰动因子后，基于加入所述对抗扰动因子的样本训练语句集合，得到第二损失信息，基于第一损失信息和第二损失信息计算得到的目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练，确定满足收敛条件。这样，通过增加对抗扰动因子，使得基于一个样本训练语句能够得到不同的损失信息，使得训练得到的所述序列标注模型的泛化能力更强，精度更高，而且避免了引入不必要的噪声干扰，节省资源消耗。

技术领域

本发明涉及自然语言处理领域，特别涉及一种序列标注模型的训练方法及装置。

背景技术

序列标注问题是自然语言处理领域中重要且应用广泛的一类问题，人们在基于训练样本完成对搭建的序列标注模型的训练后，能够借助于完成训练的序列标注模型，实现对输入的语句进行序列标注。但是，在进行序列标注模型训练时，很多场景下均存在样本量不足的情况。

现有技术下，为了获得足够的样本量，通常采用数据增强处理的方式由一个样本数据得到多个样本数据，然后通过得到的多个样本数据进行序列标注模型训练。然而，采用数据增强处理生成的样本数据进行训练时，会引入由于进行数据增强处理而带来的噪声，极大的影响序列标注模型精度，进而影响序列标注的精确度。

发明内容

本发明提供一种序列标注模型的训练方法及装置，用以解决现有技术中存在的进行训练标注模型训练时由于样本数据量不足，导致无法得到有效的序列标注模型的问题。

本发明提供的具体技术方案如下：

第一方面，提出一种序列标注模型的训练方法，包括：

获取待训练的序列标注模型和样本训练语句集合；

基于所述样本训练语句集合对所述序列标注模型进行训练，得到第一损失信息；

根据所述序列标注模型的模型参数，确定对抗扰动因子，并基于加入所述对抗扰动因子的样本训练语句集合对所述序列标注模型进行训练，得到第二损失信息；

基于所述第一损失信息和所述第二损失信息计算得到目标损失信息，并基于所述目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练，以及确定满足预设的收敛条件时，输出训练后的所述序列标注模型。

可选的，所述根据所述序列标注模型的模型参数，确定对抗扰动因子，包括：

获取所述序列标注模型当前的模型参数，并基于所述模型参数计算所述序列标注模型的梯度，并基于所述梯度以及预设的超参数计算对抗扰动因子，其中，所述超参数用于调整生成的对抗扰动的强弱。

可选的，所述基于所述梯度以及预设的超参数计算对抗扰动因子，包括：

获取预设的超参数，并将获得的所述超参数与所述梯度的乘积，与所述梯度的范数做商得到对抗扰动因子。

可选的，所述基于所述目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练之前，进一步包括：

获取为所述序列标注模型中的预训练模型设置的原始学习率，所述预训练模型用于基于输入的样本训练语句生成相应的字向量集合；

根据对应所述预训练模型中各个层级预设的层系数，结合所述原始学习率，分别确定各个层级对应的学习率，其中，所述学习率用于表征对各个层级对应的模型参数的调整幅度；

所述基于所述目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练，包括：