[发明专利]一种模型训练的方法及相关装置

说明书

本申请实施例提供了一种模型训练的方法及相关装置。上述方法包括：从待处理数据集中获取待训练样本，使用第一模型获得用于表示上述待训练样本的向量，上述待处理数据集包含的样本包括正样本和负样本；在上述待训练样本为正样本的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量；将上述用于表示上述待训练样本的对抗样本的向量输入第三模型，得到输出值；根据上述输出值确定上述第一模型，上述第二模型和上述第三模型收敛。本申请所提供的方法和装置，通过改进模型训练中样本的生成方法，提高模型训练的难度，从而增强模型的鲁棒性。

技术领域

本发明实施例涉及信息检索领域，具体涉及一种基于对抗的模型训练的方法及相关装置。

背景技术

文本匹配是信息检索领域的核心问题。文本匹配可以归结为查询项和文档的匹配，即通过文本匹配模型对查询项和文档给出匹配分数，匹配分数越高，查询项与文档的相关性越强。

基于BM25(一种用来评价搜索词和文档之间相关性的算法)的文本匹配模型只能在查询项和文档具有重复词的情况下对两者进行匹配；基于深度学习的文本匹配模型则可以将语义相似的词或词组进行匹配。深度学习模型本身参数量大，需要大量数据对模型进行充分训练，对上述基于深度学习的文本匹配模型构建样本进行训练时，正样本为用户真实点击的文档，负样本为所有文档中随机抽取的文档；但是，随着上述负样本数量的增加，上述基于深度学习的文本匹配模型对查询项和相对应的真实文档之间的语义理解能力下降，对相似的文档给出的匹配分数差别大，即模型的鲁棒性降低。

发明内容

本申请实施例公开了一种模型训练的方法及相关装置，通过改进模型训练中样本的生成方法，提高模型训练的难度，从而增强模型的鲁棒性。

第一方面，本申请实例公开了一种模型训练的方法，包括：

获取待处理数据集，上述待处理数据集包含的样本包括正样本和负样本；

从上述待处理数据集中获取待训练样本，使用第一模型获得用于表示上述待训练样本的向量；

在上述待训练样本为正样本的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量；

将上述用于表示上述待训练样本的对抗样本的向量输入第三模型，得到输出值；

根据上述输出值确定上述待训练样本的分损失值，计算上述待处理数据集中所有样本的分损失值求和，得到总损失值；

在前后两次获得的总损失值之间的差值小于阈值的情况下，确定上述第一模型，上述第二模型和上述第三模型收敛。

本申请实施例中，由第三模型输出的值都统一称为输出值，根据上述输出值确定的分损失值都统一称为上述待训练样本的分损失值，不特殊区分上述待处理数据集中样本是否经过对抗样本的生成处理。

在第一方面的又一种可能的实施方式中，上述方法还包括：

将上述对抗样本标记为上述待处理数据集的负样本。

在第一方面的又一种可能的实施方式中，上述在上述待训练样本为正样本的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量，包括：

在上述待训练样本为正样本的情况下，对服从伯努利分布的随机变量抽取参考值，所述伯努利分布服从的参数小于第二阈值；

在上述参考值为1的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量。

在第一方面的又一种可能的实施方式中，上述方法还包括：

在上述参考值为0的情况下，将上述表示上述待训练样本的向量输入第三模型，得到输出值。