[发明专利]文本相似度的计算方法、装置、电子设备及存储介质

说明书

本发明公开了一种文本相似度的计算方法，应用于信息技术领域，包括：对待处理的两条文本进行分词处理，得到组成两条文本的两个词汇集合，将两个词汇集合进行并集处理和交集处理，得到两个词汇集合的并集词汇和交集词汇，再分别输入各词汇至预先训练的TF‑IDF空间向量集合，得出各词汇的权重值，然后基于并集词汇和交集词汇的权重值，计算得出两条文本的相似度，本发明还公开了一种文本相似度的计算装置、电子设备及存储介质，通过综合文本中词汇本身的重要程度以及共有词汇的重要程度对相似度计算的影响，提高文本相似度计算的准确性。

技术领域

本发明涉及信息技术领域，尤其涉及一种文本相似度的计算方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的飞速发展和互联网的快速普及，人类的信息交流变得越来越方便快捷。

在计算文本相似度时，现有技术一般使用余弦相似度或者欧式距离计算，采用这种方法，没有考虑到文本中词项本身的重要程度对相似度的影响，使计算结果不准确。

发明内容

本发明的主要目的在于提供一种文本相似度的计算方法、装置、电子设备及存储介质，提高文本相似度计算结果的准确性。

为实现上述目的，本发明实施例第一方面提供一种文本相似度的计算方法，包括：

对待处理的两条文本分别进行分词处理，得到组成所述两条文本的两个词汇集合；

将所述两个词汇集合进行并集处理和交集处理，得到所述两个词汇集合的并集词汇和交集词汇；

分别输入各所述词汇至预先训练的TF-IDF空间向量集合，得出各所述词汇的权重值；

基于所述并集词汇和交集词汇的权重值，计算得出所述两条文本的相似度。

进一步地，所述基于所述并集词汇和交集词汇的权重值，计算得出所述两条文本的相似度包括：

输入所述并集词汇和交集词汇的权重值至如下文本相似度计算公式，计算得出所述两条文本的相似度：

其中，A和B分别表示所述两条文本，w∈A∩B表示文本A与文本B中的交集词汇，w∈A∪B表示文本A与文本B中的并集词汇，w_tf-idf表示词汇的权重值，len(A∩B)表示文本A和文本B中交集词汇的数量，len(A)表示文本A中词汇的数量，len(B)表示文本B中词汇的数量，sim(A，B)表示文本A和文本B的相似度。

进一步地，所述TF-IDF空间向量集合由多条语料文本训练得出。

进一步地，所述TF-IDF空间向量集合由多条语料文本训练得出包括：

对各所述语料文本进行预处理，得到所述语料文本中的特征词；

通过TF-IDF权重公式，向量化各所述特征词，得到所述TF-IDF空间向量集合；

令i表示第i个语料文本，j表示第j个特征词，tf_ij表示第i个语料文本中第j个特征词的词频，N为语料文本总数，N_wij表示出现第i个语料文本中第j个特征词的语料文本数量，w_ij表示第i个语料文本中第j个特征词的权重值，则：

本发明实施例第二方面提供一种文本相似度的计算装置，包括：

分词模块，用于对待处理的两条文本分别进行分词处理，得到组成所述两条文本的两个词汇集合；

并集处理模块，用于将所述两个词汇集合进行并集处理，得到所述两个词汇集合的并集词汇；