[发明专利]语言模型预训练、产品搜索方法、装置以及计算机设备

说明书

本说明书实施方式提供一种语言模型预训练、产品搜索方法、装置以及计算机设备。通过提供包括非结构化的文本数据集和结构化的产品数据集的语料集，利用文本数据集训练所述辅助转化器和所述主转化器执行RTD预训练任务，利用产品数据集训练所述主转化器执行PAP预训练任务。在达到模型训练的停止条件时，将主转换器作为目标语言模型，通过引入新的PAP预训练任务，不仅实现将产品知识注入到目标语言模型中，不再需要费力构建相应的产品知识图谱，而且提升目标语言模型在下游任务中的表现能力。

技术领域

本说明书实施方式涉及自然语言处理技术领域，具体涉及一种语言模型预训练、产品搜索方法、装置以及计算机设备。

背景技术

近年来，预训练语言模型（PLM，Pre-trained Language Model）极大地提高了各种自然语言处理（NLP）任务的性能。在NLP模型的训练任务中通常采用预训练和微调的方法。

在传统技术中，预训练语言模型通常使用大型语料库中的文本序列以自我监督方式学习的方式捕获词义。进一步地，预训练语言模型可以应用在搜索引擎上用来解决一些查询任务。

发明内容

有鉴于此，本说明书实施方式致力于至少提供一种语言模型预训练、产品搜索方法、装置以及计算机设备，实现以产品的结构化信息训练语言模型，并将产品的相关知识信息注入语言模型中，从而不再需要费力构建相应的产品知识图谱的技术效果。

本说明书实施方式提供了一种语言模型预训练方法，所述方法还包括：提供用于训练初始语言模型的语料集，其中，所述初始语言模型包括主转化器和为所述主转化器提供输入文本序列的辅助转化器；所述语料集包括非结构化的文本数据集和结构化的产品数据集；基于所述语料集对所述初始语言模型进行训练得到目标语言模型；其中，所述文本数据集用于训练所述辅助转化器和所述主转化器，得到第一语言模型；所述产品数据集用于对所述主转化器进行训练，得到第二语言模型；其中，所述目标语言模型包括所述第一语言模型中的主转化器或者所述第二语言模型中的主转化器。

本说明书实施方式提供一种产品搜索方法，所述方法还包括：获取目标产品的搜索关键词和候选产品的标题；其中，所述搜索关键词与所述目标产品的属性名称相关；将所述搜索关键词和所述候选产品的标题输入至目标语言模型进行预测，得到所述搜索关键词以及所述候选产品的标题之间的相关数据；其中，所述目标语言模型是通过上述任一实施方式所述的语言模型预训练方法得到的；基于所述相关数据，在所述候选产品中确定所述目标产品。

本说明书实施方式提供一种语言模型预训练装置，所述装置包括：语料集提供模块，用于提供用于训练初始语言模型的语料集，其中，所述初始语言模型包括主转化器和为所述主转化器提供输入文本序列的辅助转化器；其中，所述语料集包括非结构化的文本数据集和结构化的产品数据集；语言模型训练模块，用于基于所述语料集对所述初始语言模型进行训练得到目标语言模型；其中，所述文本数据集用于训练所述辅助转化器和所述主转化器，得到第一语言模型；所述产品数据集用于对所述主转化器进行训练，得到第二语言模型；其中，所述目标语言模型包括所述第一语言模型中的主转化器或者所述第二语言模型中的主转化器。

本说明书实施方式提供一种产品搜索装置，所述装置包括：获取模块，用于获取目标产品的搜索关键词和候选产品的标题；其中，所述搜索关键词与所述目标产品的属性名称相关；预测模块，用于将所述搜索关键词和所述候选产品的标题输入至目标语言模型进行预测，得到所述搜索关键词以及所述候选产品的标题之间的相关数据；其中，所述目标语言模型是通过上述任一实施方式所述的语言模型预训练方法得到的；确定模块，用于基于所述相关数据，在所述候选产品中确定所述目标产品。

本说明书实施方式提供一种计算设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施方式中的方法步骤。

本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中的方法步骤。