[发明专利]基于改进Adaboost算法的句子相似性判断方法

说明书

本发明公开了一种基于改进Adaboost算法的句子相似性判断方法，利用预训练语言模型在学习大规模文本的语义知识方面的优势以及Adaboost算法在集成多个基学习器方面的优势，先通过公开语料集中的训练数据对多个不同的预训练语言模型进行独立训练和微调，目的是利用不同预训练语言中的先验知识和网络结构学习文本语义相似性的任务相关知识；接着，在Adaboost R2算法的基础上提出改进的Adaboost算法，并结合验证数据集计算各个模型的权重系数，并进行归一化。最后，根据权重系数将各个模型在测试数据集的预测结果进行线性求和，从而得到最终的句子相似性结果。

技术领域

本发明涉及自然语言处理领域，具体涉及一种基于改进Adaboost算法的句子相似性判断方法。

背景技术

句子语义相似性判断研究长期以来一直是是自然语言处理领域中的一个重要子任务，其主要目的是利用机器学习自动识别两个句子之间的语义相似性。句子语义相似性判断在文本分类、搜索引擎、问答系统及信息抽取等领域均得到广泛的应用。近年来，随着各种预训练语言模型(如BERT、RoBERTa、XLNet和Ernie等)的快速发展，学术界和工业界开始采用大规模通用互联网文本语料对预训练语言模型基础进行预训练，目的是学习通用的语言表示和先验知识。然后在下游任务中进行微调得到学习任务相关的知识。许多研究均已证明了预训练加微调的两阶段方法非常有效的，在多个自然语言处理任务上均取得了新的最好结果，并开始在句子相似性判断任务中得到应用。

目前许多研究主要针对具体的句子相似性判断任务，利用某个预训练语言模型(如BERT或XLNet等)学习句子的上下文信息及相似性关系，并通过微调学习任务相关的知识。虽然这些工作在一些公开的语料集上(如SemEval 2014SICK、SemEval 2017STS-B等)上均取得较好的效果。但由于不同的预训练语言模型采用了不同的语言建模方法、特征表示、神经网络结构、预训练任务、预训练语料和微调策略等，导致模型中具有不同的语法、语义及结构等先验知识，而且在下游任务中的学习能力也存在一定的差异。现有的相关研究很少从多模型集成的角度分析如何更好地利用不同预计模型中的先验知识和学习能力进一步提升模型在句子相似性判断任务上的效果。

发明内容

本发明的目的是针对上述现有技术的不足，提供了一种基于改进Adaboost算法的句子相似性判断方法，利用多个不同的预训练语言模型对句子相似性任务进行训练和微调，并得到相应的任务相关知识；接着利用Adaboost R2算法在集成多个基学习器方面的优势，提出改进的Adaboost算法，通过利用MSE代替经典Adaboost算法中的误差率计算，从而更好地区分弱学习器对模型集成结果的影响，并通过验证数据集进行训练得到各个预训练语言模型的权重系数向量，最后进行归一化处理。最后，利用权重系数向量将各个预训练语言模型在测试数据集上的结果进行线性加权求和，得到最终的相似性值。

本发明的目的可以通过如下技术方案实现：

一种基于改进Adaboost算法的句子相似性判断方法，所述方法包括以下步骤：

步骤1、在输入特征层，根据各个不同预训练语言模型的输入要求，对待识别的两个句子进行预处理；以BERT和RoBERTa为例，根据SentencePiece或WordPiece分别对两个句子进行分词处理，并根据输入长度要求对句子进行相应的长度预处理，接着利用标志符号[CLS]和[SEP]将两个句子合并成一个句子对的表示；最后，将句子对中各个单词转成词汇表中对应的序号信息，并结合位置词向量、单词词向量信息及分段信息构造最终的输入表示；

步骤2、在预训练语言模型层，对于输入的句子对，根据各个不同预训练语言模型的要求，利用训练数据集分别进行单独训练和微调；在各个预训练语言模型的微调过程中，统一将[CLS]标记所对应的词向量作为文本对的语义特征表示，并通过sigmoid函数计算相应的语义相似性值；损失函数统一采用均方误差MSE(MeanSquaredError)。优化器采用Adam，学习率为2e-05；