[发明专利]一种改写模型的训练方法及装置

说明书

本发明提供了一种改写模型的训练方法及装置，所述方法包括：收集网络用户基于搜索引擎的查询记录，基于所述查询记录构建训练数据集；获取所述训练数据集中的训练数据，将所述训练数据随机打乱；将所述随机打乱后的训练数据划分为多份训练样本数据；在所述多份训练样本数据中任意选取一份训练样本数据，将选取的所述训练样本数据输入预先构建的对用户基于搜索引擎输入的查询语句进行改写的改写模型，对所述改写模型进行训练。基于本发明实施例提供的改写模型的训练方法，基于网络用户通过搜索引擎的真实搜索查询记录进行汇总处理后的训练数据集训练获得，可进一步提升改写模型的训练效率，使得改写模型对查询语句的改写更加准确高效。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种改写模型的训练方法及装置。

背景技术

伴随着搜索引擎技术的不断发展，用户常常会基于搜索引擎获取多种多样的网络信息。在用户向搜索引擎输入查询语句时，可能是口语化描述的自然语言查询，进而导致搜索引擎基于此所获取的查询结果与用户的查询意图相差较大。因此，为了更加精准的查询可利用改写模型对用户的查询语句进行改写。改写模型属于机器学习中的神经网络模型，如何对已构建的改写模型进行训练，从而提升改写的准确性是亟待解决的问题。

发明内容

本发明提供了一种改写模型的训练方法及装置以克服上述问题或者至少部分地解决上述问题。

根据本发明的一个方面，提供了一种改写模型的训练方法，包括：

收集网络用户基于搜索引擎的查询记录，基于所述查询记录构建训练数据集；

获取所述训练数据集中的训练数据，将所述训练数据随机打乱；

将所述随机打乱后的训练数据划分为多份训练样本数据；

在所述多份训练样本数据中任意选取一份训练样本数据，将选取的所述训练样本数据输入预先构建的对用户基于搜索引擎输入的查询语句进行改写的改写模型，对所述改写模型进行训练。

可选地，所述将所述随机打乱后的训练数据划分为多份训练样本数据，包括：

将所述随机打乱后的训练数据集中的训练数据平均划分为S份训练样本数据，并设定S的初始值为0。

可选地，所述在所述多份训练样本数据中任意选取一份训练样本数据，将选取的所述训练样本数据输入预先构建的对用户基于搜索引擎输入的查询语句进行改写的改写模型，对所述改写模型进行训练，包括：

选取第S份训练样本数据；

将所述第S份训练样本数据输入预先构建的对用户基于搜索引擎输入的查询语句进行改写的改写模型，对所述改写模型进行训练。

可选地，所述将所述第S份训练样本数据输入预先构建的对用户基于搜索引擎输入的查询语句进行改写的改写模型，对所述改写模型进行训练，包括：

按照预设的词汇表对所述第S份训练样本数据的查询语句中的词语进行编号；其中，所述预设的词汇表基于所述训练数据集构建而成；

将编号后的各词语输入所述改写模型，以基于编号后的各词语对所述改写模型进行训练。

可选地，所述将编号后的各词语输入所述改写模型，以基于编号后的各词语对所述改写模型进行训练之后，还包括：

通过以下公式计算所述改写模型训练过程中的损失函数：

其中，loss表示损失函数，表示目标词语，表示注意力权重，表示coverage向量，t表示t时刻。

可选地，所述将所述第S份训练样本数据输入预先构建的对用户基于搜索引擎输入的查询语句进行改写的改写模型，对所述改写模型进行训练之后，还包括：