[发明专利]文章相似度挖掘方法、系统、设备及存储介质

权利要求书

1.一种文章相似度挖掘方法，其特征在于，包括：

S₁、对多篇文章进行预处理，获取每篇文章的特征词；

S₂、基于TF-IDF计算所述特征词的TF-IDF权重；

S₃、根据所述TF-IDF权重生成每篇文章的归一化的特征向量；

S₄、计算任意两个所述特征向量的相似度。

2.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S₁具体包括：

S₁₁、读取多篇文章，并清洗所述文章；

S₁₂、基于分词词库对已清洗的所述文章进行分词；

S₁₃、基于停用词词库对已分词的所述文章去停用词；

S₁₄、基于特征词词库对已去停用词的所述文章进行特征词提取。

3.如权利要求2所述的文章相似度挖掘方法，其特征在于，步骤S₁₂具体包括：基于分词词库对已清洗的所述文章采用隐马尔可夫模型进行分布式分词。

4.如权利要求2所述的文章相似度挖掘方法，其特征在于，所述文章相似度挖掘方法还包括：在步骤S₁₄前，将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库。

5.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S₂中TF-IDF权重的计算公式如下：

其中，

表示第t个特征词的归一化词频权重；

表示第t个特征词的归一化逆向文件频率权重；

c_t表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，d_t表示含有第t个特征词的文章篇数，α为常数，α取值为0～1。

6.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S₄中计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法。

7.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S₄还包括将所述特征向量及计算出的相似度存储于大数据平台，所述文章相似度挖掘方法还包括：

S₅、当接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章；

S₆、根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列；

S₇、从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，当所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章，然后将所述推荐文章按所述预设推荐数量向所述用户推荐和展示。

8.如权利要求7所述的文章相似度挖掘方法，其特征在于，所述文章相似度挖掘方法还包括：在步骤S₇前，记录所述用户的偏好主题，将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中。

9.如权利要求1所述的文章相似度挖掘方法，其特征在于，所述文章相似度挖掘方法还包括：

根据配置参数，将新增文章按步骤S₁–S₄处理后衔接更新到大数据平台。