[发明专利]一种训练文本匹配模型的方法、装置以及存储介质

权利要求书

1.一种训练文本匹配模型的方法，其特征在于，包括步骤：

S1，获取第一训练集、第二训练集和第三训练集，所述第一训练集包含第一领域内的用于文本匹配的已标注数据，所述第二训练集包含所述第一领域内的用于文本匹配的未标注数据，所述第三训练集包含第二领域内用于文本匹配的已标注数据；

S2，将所述第三训练集输入预先训练的语言模型，基于文本匹配任务对所述预先训练的语言模型进行训练，得到候选语言模型，将所述候选语言模型作为知识蒸馏中的第一教师模型，使用所述第一教师模型对预先建立的待蒸馏模型进行知识蒸馏，得到第一学生模型；

S3，使用所述第一训练集对所述第一教师模型进行训练，得到训练好的第二教师模型，将所述第二训练集中的未标注数据存储到搜索引擎，使用所述第二教师模型提取与所述第二训练集中的未标注数据对应的特征向量，将所述特征向量存储到近似近邻搜索库，所述搜索引擎对所述第二训练集中的未标注数据进行分词建立倒排索引，所述近似近邻搜索库使用预定的近似最近邻搜索算法对所述特征向量建立索引；

S4，所述第一训练集中的已标注数据包含第一文本和第二文本，根据所述第一文本从所述搜索引擎和所述近似近邻搜索库中获取第一结果集，根据所述第二文本从所述搜索引擎和所述近似近邻搜索库中获取第二结果集，通过将所述第一文本和所述第二结果集进行拼接以及将所述第二文本和所述第一结果集进行拼接确定用于知识蒸馏的蒸馏数据；

S5，基于所述蒸馏数据和所述第二教师模型，使用知识蒸馏方法对所述第一学生模型进行训练，生成训练好的目标模型。

2.根据权利要求1所述的方法，其特征在于，所述步骤S3中使用所述第一训练集对所述第一教师模型进行训练，得到训练好的第二教师模型包括：

所述第一训练集中包含的已标注数据对应于多个类别，将所述第一训练集划分为子训练集、子验证集和子测试集，根据所述子训练集、所述子验证集和所述子测试集确定所述第二教师模型，使得所述第二教师模型在所述子测试集中各个类别的预测准确率大于预设阈值，所述预设阈值的值域为(0,1)。

3.根据权利要求2所述的方法，其特征在于，所述预设阈值为0.95。

4.根据权利要求1所述的方法，其特征在于，所述搜索引擎为Elasticsearch引擎，所述近似近邻搜索库为Faiss框架。

5.根据权利要求2所述的方法，其特征在于，所述步骤S4中根据第一文本从所述搜索引擎和所述近似近邻搜索库中获取第一结果集包括：

根据所述第一文本从所述搜索引擎中召回n条文本，其中，n为自然数；

根据所述第一文本从所述近似近邻搜索库中召回m条文本，其中，m为自然数；

使用所述第二教师模型确定所述n条文本和所述m条文本与所述第一文本的匹配程度，将所述匹配程度不小于所述预设阈值的文本作为第一结果集。

6.根据权利要求2所述的方法，其特征在于，所述步骤S4中根据第二文本从所述搜索引擎和所述近似近邻搜索库中获取第二结果集包括：

根据所述第二文本从所述搜索引擎中召回p条文本，其中，p为自然数；

根据所述第二文本从所述近似近邻搜索库中召回q条文本，其中，q为自然数；

使用所述第二教师模型确定所述p条文本和所述q条文本与所述第二文本的匹配程度，将所述匹配程度不小于所述预设阈值的文本作为第二结果集。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4中通过将所述第一文本和所述第二结果集进行拼接以及将所述第二文本和所述第一结果集进行拼接确定用于知识蒸馏的蒸馏数据包括：

将所述第一文本与所述第二结果集中的每个文本进行拼接，得到第一拼接结果集；

将所述第一结果集中的每个文本与所述第二文本进行拼接，得到第二拼接结果集；

合并所述第一训练集、所述第一拼接结果集和所述第二拼接结果集，得到所述蒸馏数据。