[发明专利]基于Bert模型的文本相似度计算方法和装置

权利要求书

1.一种基于Bert模型的文本相似度计算方法，其特征在于，包括：

确定待比对文本句段；

采用词频词现率算法，基于所述待比对文本句段得到第一文本矩阵；

通过预先训练的Bert模型，基于所述待比对文本句段得到第二文本矩阵；

将所述第一文本矩阵和所述第二文本矩阵进行拼接，得到拼接文本矩阵；

对所述拼接文本矩阵进行特征优化，得到目标文本矩阵；

采用预设的相似度算法，根据所述目标文本矩阵得到所述待比对文本句段间的文本相似度。

2.根据权利要求1所述的方法，其特征在于，所述采用词频词现率算法，基于所述待比对文本句段得到第一文本矩阵，包括：

根据所述待比对文本句段建立词袋，其中，所述词袋包括所述待比对文本句段中出现的字词；

根据所述词袋计算每个所述字词在所述待比对文本句段中的词频，采用公式表示为其中，t表示字词，d表示句段，tf_t，d表示字词t是否在句段d中出现，若出现则取1，若没有出现则g_t，d取0，g_t，d表示一个字词在一所述待比对文本句段中的占比；

根据所述词袋计算逆向文件频率，采用公式表示为其中，N表示文件总个数，所述文件是预先确定的，df_t表示有n个文件含有字词t，所述n为大于或等于0的整数；

根据所述词频和所述逆向文件频率得到所述第一文本矩阵，所述第一文本矩阵中的元素采用公式计算得到。

3.根据权利要求1所述的方法，其特征在于，所述在通过预先训练的Bert模型，基于所述待比对文本句段得到第二文本矩阵之前，还包括Bert模型的训练过程，包括如下步骤：

获取原始语料；

将所述原始语料进行字符级的分割；

根据所述原始语料构建句子对，其中，所述句子对包括正样本句子对和负样本句子对，所述正样本句子对存在句子间的上下文关系，所述负样本句子对不存在句子间的上下文关系；

基于字符级分割后的所述原始语料连接所述句子对；

随机遮掩所述句子对中百分之十的字符，得到训练语料；

将所述训练语料输入到初始Bert模型中进行训练，得到所述Bert模型。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一文本矩阵和所述第二文本矩阵进行拼接，得到拼接文本矩阵，包括：

判断所述第一文本矩阵和所述第二文本矩阵的矩阵尺寸是否相同；

若相同，将所述第一文本矩阵和所述第二文本矩阵进行拼接，得到所述拼接文本矩阵；

若不相同，采用主成分分析法对所述第一文本矩阵进行降维，使所述第一文本矩阵的矩阵尺寸等于所述第二文本矩阵的矩阵尺寸，并在降维后拼接所述第一文件矩阵和所述第二文本矩阵，得到所述拼接文本矩阵。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述对所述拼接文本矩阵进行特征优化，得到目标文本矩阵，包括：

基于主成分分析的方法，计算所述拼接文本矩阵的词向量v_S，采用公式表示为其中，S为所述拼接文本矩阵，v_t为字词t在所述拼接文本矩阵中的向量，α为预设的平滑参数，p_t为字词在文件中出现的概率；

采用截断奇异值分解方法得到所述词向量v_S的主成分u；

根据所述词向量v_S和所述主成分u对所述词向量v_S进行特征优化，得到更新后的所述词向量，采用公式表示为v′_S＝v_S-u(u^T)v_S，其中，T表示转置矩阵运算：

根据更新后的所述词向量v′_S得到所述目标文本矩阵。