[发明专利]文本相似度计算方法、装置、计算机设备及存储介质

说明书

本申请适用于人工智能技术领域，提供一种文本相似度计算方法、装置、计算机设备及存储介质，其中方法包括：对至少两组待判别内容进行信息抽取，得到结构化字段信息；基于目标Bert模型对所述结构化字段信息进行文本处理，获取目标Bert模型中N个目标编码层分别处理得到的词嵌入向量，从每一词嵌入向量中分别抽取出CLS标志位的向量表示并对CLS标志位的向量表示进行拼接，得到目标向量表示；基于目标向量表示对至少两组待判别内容进行相似度判别，得到待判别内容之间的相似度判别结果。该方案能够融合进入更多编码层的输出结果中蕴含的文本特征，提升相似度判断的准确度。

技术领域

本申请属于人工智能技术领域，尤其涉及一种文本相似度计算方法、装置、计算机设备及存储介质。

背景技术

Bert(Bidirectional Encoder Representations from Transformers，基于转换器的双向编码表征)模型作为NLP(Natural Language Processing，自然语言处理)领域中的一个重大突破技术，是一个用作为特征抽取器的深度双向预训练语言理解模型。该Bert模型能够实现文本特征的准确提取，基于Bert模型实现文本信息之间相似度判断，实现自然语言处理，是重要的应用方向。

现有在进行文本相似度计算时，通常是基于现有的Bert模型进行直接应用，现有Bert模型通过设定层数的编码层(Encoder)间的逐层传递进行数据编码，使用数据逐层传递后的最终输出结果进行数据相似度判断。但现有Bert模型在进行数据处理时，处理对象中包含的文本内容复杂繁多，会对模型提取文本内容之间的关系特征时的准确度造成噪声及干扰，给基于Bert模型进行相似度判断的最终准确性带来一定挑战。

发明内容

本申请实施例提供了一种文本相似度计算方法、装置、计算机设备及存储介质，以解决现有技术中Bert模型在进行数据处理时，处理对象中包含的文本内容复杂繁多，会对模型提取文本内容之间的关系特征时的准确度造成噪声及干扰，影响相似度判断的最终准确性的问题。

本申请实施例的第一方面提供了一种文本相似度计算方法，包括：

对至少两组待判别内容进行信息抽取，得到结构化字段信息；

基于目标Bert模型对所述结构化字段信息进行文本处理，获取所述目标Bert模型中N个目标编码层分别处理得到的词嵌入向量，其中，所述N个目标编码层中包含N-1个中间编码层及最后一层编码层；N为大于1的整数；

从每一所述词嵌入向量中分别抽取出CLS标志位的向量表示并对所述CLS标志位的向量表示进行拼接，得到目标向量表示；

基于所述目标向量表示对至少两组所述待判别内容进行相似度判别，得到所述待判别内容之间的相似度判别结果。

可选地，所述对至少两组待判别内容进行信息抽取，得到结构化字段信息，包括：

分别对至少两组所述待判别内容进行文本内容抽取，得到目标文本数据；

将每组所述待判别内容分别对应的所述目标文本数据的末尾插入SEP句子分隔位，依照设定次序对插入有所述SEP句子分隔位的所述目标文本数据进行串接；

在串接后的所述目标文本数据所形成整体的首位插入CLS标志位，得到所述结构化字段信息。

可选地，所述基于所述目标向量表示对至少两组所述待判别内容进行相似度判别，得到所述待判别内容之间的相似度判别结果，包括：

依照设定特征维度对每组所述待判别内容进行特征抽取，得到特征关键词；

对于不同的所述设定特征维度，分别对至少两组所述待判别内容的所述特征关键词进行相似度计算，得到每一所述设定维度下的特征相似度计算结果；