[发明专利]一种文本聚合方法以及文本推荐方法

权利要求书

1.一种文本聚合方法，其特征在于，包括：

获取待处理的文本；

利用经改进的SimHash算法计算文本的指纹信息，其中，经改进的SimHash算法在对文本中相应词语的哈希值进行加权时，利用词语在该文本内的权值以及在该文本所处领域中该词语的领域权值进行加权；

利用领域权值对文本的领域关联性进行打分，得到文本的领域分值；

将文本的指纹信息分为多个指纹段，基于指纹段的数值构建倒排索引，其中，倒排索引对应的键值对中，键存储指纹段的数值，值存储文本相关信息，文本相关信息包括文本的指纹信息和领域分值。

2.根据权利要求1所述的文本聚合方法，其特征在于，每个领域中，词语的领域权值按照以下方式预先计算得到：

获取该领域的领域语料，其中，领域语料包括预先收集的属于该领域的多篇样本文章；

提取领域语料中的多个关键特征词，构成领域特征词组；

针对领域特征词组中的每个词语，依据领域语料中的总词数、总文章数、相应词语在领域语料中出现的次数以及领域语料中包含相应词语的文章数计算相应词语的领域权值。

3.根据权利要求2所述的文本聚合方法，其特征在于，词语的领域权值按照以下方式计算得到：

其中，表示词语c_i的领域权值，表示词语c_i在领域语料中出现的次数，C_total表示领域语料中的总词数，D_total表示领域语料中的总文章数，表示领域语料中包含相应词语的文章数，k表示领域权值调节系数。

4.根据权利要求1所述的文本聚合方法，其特征在于，所述利用经改进的SimHash算法计算文本的指纹信息的步骤包括：

对文本进行处理，计算其包括的多个词语的哈希值；

将每个词语的哈希值按比特位分别乘以该词语在该文本内的权值以及在该文本所处领域中该词语的领域权值，得到各词语的加权哈希值；

将各词语的加权哈希值在同一比特位的值进行累加后降维，形成文本的指纹信息。

5.根据权利要求4所述的文本聚合方法，其特征在于，文本的领域分值按照以下方式确定：

根据文本的领域对应的实体词典，获取文本中的人物实体信息、地点实体信息、机构实体信息，其中，每个领域的实体词典可独立设置；

根据文本中的人物实体信息、地点实体信息、机构实体信息，确定文本中的不同人物实体数量、不同地点实体数量以及不同机构实体数量；

根据文本中的不同人物实体数量、不同地点实体数量、不同机构实体数量、文本特征词组中的词语的词频以及文本特征词组中的词语的领域权值，确定文本的领域分值。

6.根据权利要求5所述的文本聚合方法，其特征在于，文本的领域分值按照以下方式确定：

其中，EP表示文本中的不同人物实体数量，α表示EP的权重系数，EA表示文本中的不同地点实体数量，β表示EA的权重系数，EO表示文本中的不同机构实体数量，γ表示EO的权重系数，cf_i表示文本特征词组中的词语i在文本中出现的次数，w_i表示文本特征词组中的词语i的领域权值，doc_len表示文本的总词数。

7.根据权利要求1-6之一所述的文本聚合方法，其特征在于，所述方法还包括：

根据倒排索引查找与文本相似的其他文本，确定相似簇，其中，相似簇中存储属于该相似簇的各文本的指纹信息。

8.一种文本推荐方法，其特征在于，包括：

从数据流中获取输入的文本；

利用权利要求1-7之一所述的文本聚合方法对输入的文本进行处理，构建倒排索引；

根据倒排索引查找与文本相似的其他文本，确定相似簇，其中，相似簇中存储属于该相似簇的各文本的指纹信息；

根据输入的文本对应的相似簇中各文本的指纹信息，从倒排索引中确定各文本的领域分值；

根据相似簇中各文本的领域分值，推荐输入的文本的相似文本。