[发明专利]一种基于深度学习的文本相似度检测方法

权利要求书

1.一种基于深度学习的文本相似度检测方法，其特征在于，所述方法包括以下步骤：

步骤1，构建基于句粒度的文本表示矩阵，

步骤2，对抗训练，

步骤3，自注意力模型的引入，

步骤4，文本相似度判定。

2.根据权利要求1所述的基于深度学习的文本相似度检测方法，其特征在于，所述步骤1，构建基于句粒度的文本表示矩阵，首先利用XLNet预训练模型得到单词的动态词向量表示，然后利用BiLSTM模型获取词语的上下文语义，构建基于句粒度的文本表示矩阵。

3.根据权利要求1所述的基于深度学习的文本相似度检测方法，其特征在于，步骤2，对抗训练，在原训练集的基础上，文本对抗训练的加入可以添加对抗样本，增强模型的鲁棒性。

4.根据权利要求1所述的基于深度学习的文本相似度检测方法，其特征在于，步骤3，自注意力模型的引入，由于基于句粒度的文本表示矩阵忽略句子之间的关系，故通过自注意力模型可以对文本中句子的贡献赋予不同的权重，学习到文本的深层语义。

5.根据权利要求1所述的基于深度学习的文本相似度检测方法，其特征在于，步骤4，文本相似度判定，文本相似度判定模块主要将得到的文本交互矩阵输入卷积神经网络，进行特征抽取，将对文本相似度判定没有帮助的特征进行去除，最后利用softmax函数得到文本相似度值。

6.根据权利要求1所述的基于深度学习的文本相似度检测方法，其特征在于，所述步骤1，具体如下：

子步骤1-1，基于XLNet模型的词向量表示，使用哈尔滨工业大学讯飞联合实验室提出的XLNet-mid模型，同时，在XLNet模型的单词编码、段编码和位置编码三层编码层基础上添加词性编码，将四种编码层叠加作为最终词向量来表征词汇的语义信息，其中，词性编码如表1所示，最终，将经过预处理之后的文本作为模型的输入，使每个单词得到一个固定长度的词向量表示；

表1词性编码

子步骤1-2，基于BiLSTM模型的句向量表示，假设在XLNet模型中，利用“SEP”对文本划分，得到多个句子，其中第i个句子包含特征词的数量为l，那么第i句的词向量集可表示为X_i＝{x₁,x₂,…,x_t,…,x_l}，将第i个句子的词向量集X_i依次输入BiLSTM模型，经过全连接层进行线性映射得到第i个句子的句向量表示；

经过XLNet模型与BiLSTM模型之后，文本将转为一个基于句粒度的表示矩阵，若文本包含g个句子，每个句子的向量维度为l，则文本可以表示

7.根据权利要求1所述的基于深度学习的文本相似度检测方法，其特征在于，步骤2，对抗训练，具体如下：选择在XLNet的Token Embedding阶段的引入FreeLB方法来生成对抗样本，通过用样本集和对抗样本共同对模型进行训练，使得模型能识别出对抗样本，增强模型的鲁棒性，应对多种抄袭检测方法，FreeLB的公式表示：

其中，D代表训练集，x代表输入，y代表标签，θ表示模型参数，L(x+r_adv,y；θ)表示样本添加扰动之后的损失函数，r_adv表示对抗扰动。