[发明专利]文本间相似度计算方法、装置、存储介质及电子设备

权利要求书

1.一种文本间相似度计算方法，其特征在于，所述方法包括：

针对待计算相似度的第一文本和第二文本，进行分词及停用词过滤处理，并根据处理结果得到不含重复分词的对应于所述第一文本的第一分词集合和对应于所述第二文本的第二分词集合；

根据所述第一分词集合和所述第二分词集合中每个分词在所在文本中携带的信息量，以及每个所述分词对应的词嵌入向量，确定所述第一文本与所述第二文本之间的语义信息转移代价；

根据所述语义信息转移代价，确定所述第一文本和所述第二文本之间的相似度；

所述根据所述第一分词集合和所述第二分词集合中每个分词在所在文本中携带的信息量，以及每个所述分词对应的词嵌入向量，确定所述第一文本与所述第二文本之间的语义信息转移代价，包括：

根据每个分词在所在文本中携带的信息量，分别确定将第一分词集合中各个分词转移至所述第二分词集合中各个分词时各自对应的信息转移量；

根据每个所述分词对应的词嵌入向量，分别确定第一分词集合中各个分词与第二分词集合中各个分词之间的语义转移量；

根据所述信息转移量和所述语义转移量，确定所述第一文本与所述第二文本之间的语义信息转移代价；

将所述第一分词集合中第i个分词转移至所述第二分词集合中第j个分词时的信息转移量T_ij满足下列条件：

以及，

其中，m为所述第一分词集合所包含的分词总数，n为所述第二分词集合所包含的分词总数，wp_i为所述第一分词集合中第i个分词在所述第一文本中携带的信息量，wq_j为所述第二分词集合中第j个分词在所述第二文本中携带的信息量；

所述第一分词集合中第i个分词与所述第二分词集合中第j个分词之间的语义转移量S_ij通过下列公式(1)计算：

S_ij＝||X_i-X_j||² (1)

其中，X_i为所述第一分词集合中第i个分词对应的词嵌入向量，X_j为所述第二分词集合中第j个分词对应的词嵌入向量；

所述根据所述信息转移量和所述语义转移量，确定所述第一文本与所述第二文本之间的语义信息转移代价，包括：

按照下列公式(2)计算所述语义信息转移代价：

其中，m为所述第一分词集合所包含的分词总数，n为所述第二分词集合所包含的分词总数，T_ij为将所述第一分词集合中第i个分词转移至所述第二分词集合中第j个分词时的信息转移量，S_ij为所述第一分词集合中第i个分词与所述第二分词集合中第j个分词之间的语义转移量，G为所述第一文本与所述第二文本之间的语义信息转移代价；

所述根据所述语义信息转移代价，确定所述第一文本和所述第二文本之间的相似度，包括：

按照如下公式(4)确定所述相似度SIM：

SIM＝e^-G (4)

其中，G为所述第一文本与所述第二文本之间的语义信息转移代价。

2.根据权利要求1所述的方法，其特征在于，分词在所在文本中携带的信息量通过所述分词在所在文本中的出现次数确定。