[发明专利]基于Bert模型的文本相似度计算方法和装置

说明书

本发明公开了一种基于Bert模型的文本相似度计算方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该基于Bert模型的文本相似度计算方法包括：确定待比对文本句段；采用词频词现率算法，基于待比对文本句段得到第一文本矩阵；通过预先训练的Bert模型，基于待比对文本句段得到第二文本矩阵；将第一文本矩阵和第二文本矩阵进行拼接，得到拼接文本矩阵；对拼接文本矩阵进行特征优化，得到目标文本矩阵；采用预设的相似度算法，根据目标文本矩阵得到待比对文本句段间的文本相似度。采用该基于Bert模型的文本相似度计算方法能够提高文本相似度计算的准确度。

【技术领域】

本发明涉及人工智能技术领域，尤其涉及一种基于Bert模型的文本相似度计算方法和装置。

【背景技术】

文本相似度计算是自然语言处理领域的分支之一。目前文本相似度预测、计算上仍存在语义识别能力较弱、字词与文本相关性不强等问题。文本相似度计算的准确度不能达到用户的期望。

【发明内容】

有鉴于此，本发明实施例提供了一种基于Bert模型的文本相似度计算方法、装置、计算机设备及存储介质，用以解决目前文本相似度计算的准确度较低的问题。

第一方面，本发明实施例提供了一种基于Bert模型的文本相似度计算方法，包括：

确定待比对文本句段；

采用词频词现率算法，基于所述待比对文本句段得到第一文本矩阵；

通过预先训练的Bert模型，基于所述待比对文本句段得到第二文本矩阵；

将所述第一文本矩阵和所述第二文本矩阵进行拼接，得到拼接文本矩阵；

对所述拼接文本矩阵进行特征优化，得到目标文本矩阵；

采用预设的相似度算法，根据所述目标文本矩阵得到所述待比对文本句段间的文本相似度。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采用词频词现率算法，基于所述待比对文本句段得到第一文本矩阵，包括：

根据所述待比对文本句段建立词袋，其中，所述词袋包括所述待比对文本句段中出现的字词；

根据所述词袋计算每个所述字词在所述待比对文本句段中的词频，采用公式表示为其中，t表示字词，d表示句段，tf_t,d表示字词t是否在句段d中出现，若出现则取1，若没有出现则g_t,d取0，g_t,d表示一个字词在一所述待比对文本句段中的占比；

根据所述词袋计算逆向文件频率，采用公式表示为其中，N表示文件总个数，所述文件是预先确定的，df_t表示有n个文件含有字词t,所述n为大于或等于0的整数；

根据所述词频和所述逆向文件频率得到所述第一文本矩阵，所述第一文本矩阵中的元素采用公式计算得到。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述在通过预先训练的Bert模型，基于所述待比对文本句段得到第二文本矩阵之前，还包括Bert模型的训练过程，包括如下步骤：

获取原始语料；

将所述原始语料进行字符级的分割；

根据所述原始语料构建句子对，其中，所述句子对包括正样本句子对和负样本句子对，所述正样本句子对存在句子间的上下文关系，所述负样本句子对不存在句子间的上下文关系；

基于字符级分割后的所述原始语料连接所述句子对；

随机遮掩所述句子对中百分之十的字符，得到训练语料；

将所述训练语料输入到初始Bert模型中进行训练，得到所述Bert模型。