[发明专利]融合关键词特征和多粒度语义特征的文本相似度计算方法

权利要求书

1.一种融合关键词特征和多粒度语义特征的文本相似度计算方法，在获取任意两个文本d_i和d_j的相似度时，其特征在于，执行下列步骤；

步骤1：抽取文本d_i和d_j的关键词：

步骤1.1：对文本的内容进行文本预处理，得到文本候选词集，所述文本预处理包括：分词、去停用词；

步骤1.2：从文本候选词集中抽取文本的关键词：计算文本候选词集中的所有词语的TFIDF值，将前K个TFIDF值最大的词语作为文本关键词，其中K的取值为正整数；

步骤2：基于Ksimhash算法抽取文本的关键词特征指纹f_i1和f_j1，并计算f_i1和f_j1的海明距离得到文本d_i和d_j的关键词特征相似度sim₁；

其中，文本的关键词特征指纹的计算为：

步骤2.1：计算每个关键词k的指定位数hash值K_h：对组成每个关键词的字编码进行指定位数的hash运算，得到各字的hash值，再将各字的hash值进行位异或运算，得到当前关键词的hash值；

步骤2.2：计算每个关键词的加权hash值：

定义关键词k的加权值W_k＝TFIDF_k×K_h；

其中TFIDF_k表示关键词k的TFIDF值，

且K_h为1的位和TFIDF_k正相乘，为0的位和TFIDF_k负相乘；

步骤2.3：将文本的所有关键词的加权hash值进行求和，得到累加向量；

步骤2.4：对得到的累加向量进行降维计算得到文本的关键词特征指纹：对累加向量的每个元素值进行判断，大于0则置为1，否则置为0；

步骤3：计算文本d_i和d_j的词语语义相似度sim₂；

步骤4：计算文本d_i和d_j的篇章语义相似度sim₃；

步骤5：综合关键词特征相似度sim₁、词语语义相似度sim₂和篇章语义相似度sim₃，得到文本d_i和d_j的相似度sim。

2.如权利要求1所述的方法，其特征在于，将K的取值范围设置为[5,10]。

3.如权利要求1或2所述的方法，其特征在于，所述文本d_i和d_j的关键词特征相似度sim₁为：其中，H_i,j表示文本d_i和d_j的关键词特征指纹f_i1和f_j1之间的海明距离，max()函数表示取最大值，函数len()表示计算字符串的长度，且在计算关键词特征指纹f_i1和f_j1之间的海明距离时，若关键词特征指纹f_i1和f_j1的长度不同时，对长度较短的关键词特征指纹进行低位补位操作。

4.如权利要求1所述的方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：基于文本的每个关键词，将其前后N个词作为上下文，建立实数向量，以使得每个关键词w_i都对应一个语义向量其中N为正整数；

步骤3.2：对文本的所有关键词的语义向量求和，得到文本的词语语义指纹f₂；

步骤3.3：计算文本d_i和文本d_j对应的词语语义指纹f_i2和f_j2的余弦相似度，得到d_i和d_j的词语语义相似度sim₂。