[发明专利]文本相似度的计算方法、装置、电子设备及存储介质

权利要求书

1.一种文本相似度的计算方法，其特征在于，包括：

对待处理的两条文本分别进行分词处理，得到组成所述两条文本的两个词汇集合；

将所述两个词汇集合进行并集处理和交集处理，得到所述两个词汇集合的并集词汇和交集词汇；

分别输入各所述词汇至预先训练的TF-IDF空间向量集合，得出各所述词汇的权重值；

基于所述并集词汇和交集词汇的权重值，计算得出所述两条文本的相似度。

2.根据权利要求1所述的计算方法，其特征在于，所述基于所述并集词汇和交集词汇的权重值，计算得出所述两条文本的相似度包括：

输入所述并集词汇和交集词汇的权重值至如下文本相似度计算公式，计算得出所述两条文本的相似度：

其中，A和B分别表示所述两条文本，w∈A∩B表示文本A与文本B中的交集词汇，w∈A∪B表示文本A与文本B中的并集词汇，w_tf-idf表示词汇的权重值，len(A∩B)表示文本A和文本B中交集词汇的数量，len(A)表示文本A中词汇的数量，len(B)表示文本B中词汇的数量，sim(A,B)表示文本A和文本B的相似度。

3.根据权利要求1所述的计算方法，其特征在于，所述TF-IDF空间向量集合由多条语料文本训练得出。

4.根据权利要求3任意一项所述的计算方法，其特征在于，所述TF-IDF空间向量集合由多条语料文本训练得出包括：

对各所述语料文本进行预处理，得到所述语料文本中的特征词；

通过TF-IDF权重公式，向量化各所述特征词，得到所述TF-IDF空间向量集合；

令i表示第i个语料文本，j表示第j个特征词，tf_ij表示第i个语料文本中第j个特征词的词频，N为语料文本总数，N_wij表示出现第i个语料文本中第j个特征词的语料文本数量，w_ij表示第i个语料文本中第j个特征词的权重值，则：

5.一种文本相似度的计算装置，其特征在于，包括：

分词模块，用于对待处理的两条文本分别进行分词处理，得到组成所述两条文本的两个词汇集合；

并集处理模块，用于将所述两个词汇集合进行并集处理，得到所述两个词汇集合的并集词汇；

交集处理模块，用于将所述两个词汇集合进行交集处理，得到所述两个词汇集合的交集词汇；

输入模块，用于分别输入各所述词汇至预先训练的TF-IDF空间向量集合，得出各所述词汇的权重值；

计算模块，用于基于所述并集词汇和交集词汇的权重值，计算得出所述两条文本的相似度。

6.根据权利要求5所述的计算装置，其特征在于，所述计算模块具体用于输入所述并集词汇和交集词汇的权重值至如下文本相似度计算公式，计算得出所述两条文本的相似度：

其中，A和B分别表示所述两条文本，w∈A∩B表示文本A与文本B中的交集词汇，w∈A∪B表示文本A与文本B中的并集词汇，w_tf-idf表示词汇的权重值，len(A∩B)表示文本A和文本B中交集词汇的数量，len(A)表示文本A中词汇的数量，len(B)表示文本B中词汇的数量，sim(A,B)表示文本A和文本B的相似度。

7.根据权利要求5所述的计算装置，其特征在于，所述输入模块的TF-IDF空间向量集合由多条语料文本训练得出。