[发明专利]基于改进Adaboost算法的句子相似性判断方法

权利要求书

1.基于改进Adaboost算法的句子相似性判断方法，其特征在于，所述方法包括以下步骤：

步骤1、在输入特征层，根据各个不同预训练语言模型的输入要求，对待识别的两个句子进行预处理；以BERT和RoBERTa为例，根据SentencePiece或WordPiece分别对两个句子进行分词处理，并根据输入长度要求对句子进行相应的长度预处理，接着利用标志符号[CLS]和[SEP]将两个句子合并成一个句子对的表示；最后，将句子对中各个单词转成词汇表中对应的序号信息，并结合位置词向量、单词词向量信息及分段信息构造最终的输入表示；

步骤2、在预训练语言模型层，对于输入的句子对，根据各个不同预训练语言模型的要求，利用训练数据集分别进行单独训练和微调；在各个预训练语言模型的微调过程中，统一将[CLS]标记所对应的词向量作为文本对的语义特征表示，并通过sigmoid函数计算相应的语义相似性值；损失函数统一采用均方误差MSE(Mean SquaredError)；优化器采用Adam，学习率为2e-05；

步骤3、在特征融合层，在标准Adaboost R2算法的基础上提出改进的Adaboost算法，利用MSE代替经典Adaboost算法中的误差率计算，并通过验证数据集进行训练得到各个预训练语言模型的权重系数向量，最后进行归一化处理；最后，利用权重系数向量将各个模型在测试数据集上的结果进行线性加权求和，并得到最终的相似性值。

2.根据权利要求1所述的基于改进Adaboost算法的句子相似性判断方法，其特征在于：所述结合预训练语言模型和改进Adaboost算法的句子相似性判断方法是在一个多层神经网络中完成的，所述步骤1在第一层特征输入层中完成，步骤2在第二层预训练语言模型层中完成，步骤3在特征融合层中完成。

3.根据权利要求2所述的基于改进Adaboost算法的句子相似性判断方法，其特征在于：所述第二层预训练语言模型层利用各个不同预训练语言模型中的先验知识和网络结构学习两个句子的上下文信息以及与它们之间的关系，并通过微调学习任务相关知识；所述第三层特征融合层将各个预训练语言模型作为基学习器，结合改进的Adaboost算法和验证数据集训练得到相应的权重系数向量，最后进行线性加权求和得到最终的语义相似性值。

4.根据权利要求3所述的基于改进Adaboost算法的句子相似性判断方法，其特征在于：所述步骤3为特征合并及相关度判断输出，通过改进的Adaboost算法和验证数据集进行训练得到各个预训练语言模型的权重系数向量，一方面避免传统Adaboost中需要串联训练基学习器的问题，另一方面结合句子相似性任务的特点利用均方误差MSE代替Adaboost中的误差率计算，并提出相应的样本数据权重计算公式；最后根据权重系数对各个模型在测试数据集上的结果进行线性加权求和，得到句子对的最终语义相似性值；步骤3的输出结果为区间[0，1]的某个实数值，代表两个句子之间的相似性，值越大表示越相似，值越小表示越不相似。