[发明专利]一种基于数据挖掘的在线文章筛选方法

权利要求书

1、一种基于数据挖掘的在线文章筛选方法，其特征在于，该方 法主要步骤包括：

1)、首先看该文章是否是关于特定网站所需的文章，从关键字、 摘要提取相应的字眼作为一个关键属性，如果该属性与本网站收录的 内容无关，属性值为false，则直接淘汰；如果属性值为yes则进入下 一步筛选；

2)、其次看该文章是否在国内或者国外核心杂志上发表，如果文 章有发表，则查找一个核心期刊表，如果文章发表在该核心期刊表中 的期刊上则录用该文章；若文章不在核心期刊列表中，则因为该文章 已经发表过就给一个相应的得分；

3)、然后根据该文章所覆盖的内容点，根据覆盖的内容点得到相 应的得分，并且这个得分是根据本文件库所有的文章覆盖的内容点的 多少进行动态调整，最后通过累计所覆盖的内容点得到该文章这部分 的分数，具体内容点的计算使用数据挖掘关联规则方法；

4)、然后对本文章进行相似度审核，从关键字，摘要甚至是采用 全文匹配原则；先考虑关键字匹配，如果关键字匹配后采用全文匹配， 当出现一定相似度，就根据原来的文章的得分情况判断，若是原有文 章得分较低则删除时间较久的文章，否则删除新录入的文章，这里使 用的相似度审核不是对全文进行逐字逐句的匹配，而是先对关键字进 行比较，得到一定的相似度得分，然后对摘要进行匹配；

5)、然后根据文章的语言进行分类，文章的语言部分可以分为摘 要和正文两部分，文章语言的分类是为了适应各个语种的文章的需 求；

6)、接着检查近期是否有对某方面的文章特别的需要，如果有就 检测是否该文章是特别需要的类型，如果是则归档，进行优秀文章记 录，否则进行下一步筛选；这里需要一个相关的原则，一些文章得分 较低，但是有较大的需求，这部分文章就降级录取，这部分的调整既 能够由人为调整，也能够有一些设计的系统进行调整；

7)、最后一步进行综合评审，这个综合筛选主要是人为因素的介 入小部分文章的筛选，包括对一些精品文章的提取精华部分，对一些 垃圾文章直接人为删除，对一些不确定文章进行归档；

8)、最后进行文章作者积分录入模块，根据文章的作者累计相应 作者的文章；

9)、以上所述的各个部分文章的得分要累加起来，进行本文章的 整体评价，并且对该文章进行分数评级，并且根据文章的等级进行分 类存储。

2、根据权利要求1所述一种基于数据挖掘的在线文章筛选方法， 其特征在于，步骤2)中核心期刊表是需要动态维护，一般维护周期 一周一次，本核心期刊表从相关网站下载，自己设定一些相关属性， 包括引用次数、点击率、影响因子，然后进行动态计算，根据每个期 刊的得分来确定哪些是核心期刊，各个相似的网站的筛选机制进行相 互共享相应的核心期刊列表来达到更新的目的。