[发明专利]语言模型预训练、产品搜索方法、装置以及计算机设备

权利要求书

1.一种语言模型预训练方法，其特征在于，所述方法还包括：

提供用于训练初始语言模型的语料集，其中，所述初始语言模型包括主转化器和为所述主转化器提供输入文本序列的辅助转化器；所述语料集包括非结构化的文本数据集和结构化的产品数据集；其中，所述非结构化的文本数据集是包括上下文语义关系的句子文本数据；所述结构化的产品数据集是从电商平台数据库中提取的上下文语义关系不明显且具有特定数据结构的产品数据；其中，所述产品数据集包括药品的标题、属性名称、属性取值，构成药品的三元组数据；所述三元组数据是文本数据；

基于所述语料集对所述初始语言模型进行训练得到目标语言模型；其中，所述文本数据集用于训练所述辅助转化器和所述主转化器，得到第一语言模型；所述产品数据集用于对所述主转化器进行训练，得到第二语言模型；其中，所述目标语言模型包括所述第一语言模型中的主转化器或者所述第二语言模型中的主转化器；

其中，所述第一语言模型的训练方式，包括：

对所述文本数据集中的训练文本数据进行边界标记和遮盖，得到遮盖文本序列；

将所述遮盖文本序列输入至所述辅助转化器中进行被遮盖词组的预测，得到损坏文本序列；其中，所述损坏文本序列为所述辅助转化器为所述主转化器提供的所述输入文本序列；

将所述损坏文本序列输入至所述主转化器进行所述损坏文本序列中被替换词组的识别，得到监督信号序列；其中，所述监督信号序列中元素用于表示所述损坏文本序列与所述训练文本数据之间的词组是否相同；

其中，所述第二语言模型的训练方式，包括：

将所述产品数据集中的产品数据输入至所述主转化器中，对所述产品数据进行编码得到标题的文本表征数据、属性名称的文本表征数据、属性取值的文本表征数据和负采样属性取值的文本表征数据；其中，所述主转化器连接有全连接网络层；

根据所述全连接网络层对所述标题的文本表征数据、所述属性名称的文本表征数据、所述属性取值的文本表征数据和所述负采样属性取值的文本表征数据进行处理；其中，将所述标题的文本表征数据和所述属性名称的文本表征数据进行特征拼接，得到拼接表征数据；

确定所述拼接表征数据与被所述全连接网络层处理后的负采样属性取值的文本表征数据之间的第一欧式距离，以及所述拼接表征数据与被所述全连接网络层处理后的对应属性取值的文本表征数据之间的第二欧式距离；

根据所述第一欧式距离和所述第二欧式距离确定所述第二语言模型的损失值；所述损失值用于调整所述第二语言模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一语言模型和所述第二语言模型之间切换训练，且所述第一语言模型中的主转化器和所述第二语言模型中的主转化器之间共享模型参数。

3.根据权利要求1所述的方法，其特征在于，所述对所述文本数据集中的训练文本数据进行边界标记和遮盖，得到遮盖文本序列，包括：

对所述文本数据集中的训练文本数据进行中文分词和命名实体识别，得到分词结果和命名实体识别结果；

根据所述分词结果和所述命名实体识别结果对所述训练文本数据中的词组进行边界标记，得到标记文本序列；

对所述标记文本序列中的部分词组进行遮盖，得到所述遮盖文本序列。

4.根据权利要求3所述的方法，其特征在于，所述对所述标记文本序列中的部分词组进行遮盖，得到遮盖文本序列，包括：

对所述标记文本序列中的中文整词和/或实体词进行遮盖，得到所述遮盖文本序列。

5.根据权利要求1所述的方法，其特征在于，所述文本数据集包括通用领域文本和生物医学文本。

6.根据权利要求1所述的方法，其特征在于，所述初始语言模型的损失值取决于所述第一语言模型的损失值和所述第二语言模型损失值；其中，所述第一语言模型的损失值取决于所述辅助转化器的损失值和所述文本数据集对所述主转化器进行训练时的损失值。