[发明专利]文本间相似度计算方法、装置、存储介质及电子设备

说明书

本公开涉及一种文本间相似度计算方法、装置、存储介质及电子设备。所述方法包括：针对待计算相似度的第一文本和第二文本，进行分词及停用词过滤处理，并根据处理结果得到不含重复分词的对应于第一文本的第一分词集合和对应于第二文本的第二分词集合；根据第一分词集合和第二分词集合中每个分词在所在文本中携带的信息量，以及每个分词对应的词嵌入向量，确定第一文本与第二文本之间的语义信息转移代价；根据语义信息转移代价，确定第一文本和第二文本之间的相似度。这样，充分考虑了文本中各词本身以及各词上下文对于文本的语义影响，相似度的计算依据更加贴近文本本身的语义，使得计算出的相似度更加准确。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种文本间相似度计算方法、装置、存储介质及电子设备。

背景技术

现有技术中，在计算文本间相似度时，一般采用结构化处理的方式。首先对文本进行结构化处理，例如将两段文本处理成向量，如基于字的one-hot 表示、基于词的one-hot表示、基于词嵌入累加的向量化表示等。之后通过对文本结构化处理后的结果进行相似度计算，例如计算文本向量之间的欧氏距离、向量间的余弦夹角等。但是，文本内词的语义会受到该词在文本所处位置上下文的影响，从而影响文本之间词与词的语义转换，而上述相似度计算方式所关注的是文本的整体，对于文本之间例如词与词之间的语义对应转换关系并未考虑，因此计算时各文本的语义信息不全面，导致计算出的文本相似度不够准确。

发明内容

本公开的目的是提供一种文本间相似度计算方法、装置、存储介质及电子设备，以更准确地计算文本间相似度。

为了实现上述目的，根据本公开的第一方面，提供一种文本间相似度计算方法，所述方法包括：

针对待计算相似度的第一文本和第二文本，进行分词及停用词过滤处理，并根据处理结果得到不含重复分词的对应于所述第一文本的第一分词集合和对应于所述第二文本的第二分词集合；

根据所述第一分词集合和所述第二分词集合中每个分词在所在文本中携带的信息量，以及每个所述分词对应的词嵌入向量，确定所述第一文本与所述第二文本之间的语义信息转移代价；

根据所述语义信息转移代价，确定所述第一文本和所述第二文本之间的相似度。

可选地，所述根据所述第一分词集合和所述第二分词集合中每个分词在所在文本中携带的信息量，以及每个所述分词对应的词嵌入向量，确定所述第一文本与所述第二文本之间的语义信息转移代价，包括：

根据每个分词在所在文本中携带的信息量，分别确定将第一分词集合中各个分词转移至所述第二分词集合中各个分词时各自对应的信息转移量；

根据每个所述分词对应的词嵌入向量，分别确定第一分词集合中各个分词与第二分词集合中各个分词之间的语义转移量；

根据所述信息转移量和所述语义转移量，确定所述第一文本与所述第二文本之间的语义信息转移代价。

可选地，将所述第一分词集合中第i个分词转移至所述第二分词集合中第j个分词时的信息转移量T_ij满足下列条件：

以及，

其中，m为所述第一分词集合所包含的分词总数，n为所述第二分词集合所包含的分词总数，wp_i为所述第一分词集合中第i个分词在所述第一文本中携带的信息量，wq_j为所述第二分词集合中第j个分词在所述第二文本中携带的信息量；

所述第一分词集合中第i个分词与所述第二分词集合中第j个分词之间的语义转移量S_ij通过下列公式(1)计算：

S_ij＝||X_i-X_j||² (1)