[发明专利]基于教育网络信息主题采集方法

权利要求书

1.基于教育网络信息主题采集方法，其特征在于，包括以下步骤：

S1、首先构造主题类缓冲池positivePool、非主题类缓冲池negtivePool两类缓冲池，用来存放UR类实体，即URL地址集中的URL地址；两个缓冲池初始化值均为空集合；

所述主题类缓冲池中存放与采集主题相关的URL地址，非主题类缓冲池中存放与采集主题不相关的URL地址；

缓冲池的作用是存放URL地址以便采集网页的时候能快速使用，分为主题类和非主题类是为了形成主题类的URL地址集；所述缓冲池即为封装好的队列操作；

S2、根据需要采集的主题人工选取种子站点，构成搜索程序Spider的初始网页集即URL地址集；

S3、对Web网页的教育网络信息主题进行Spider采集；

S4、对采集到的网络页面进行解析下载；提取页面的URL地址以及文本信息；对采集到的网络页面进行与主题的相关性计算；过滤掉与主题无关的网络页面；对采集到的页面URL地址，进行相关性计算；过滤掉与主题无关的URL地址；

S5、将过滤后与主题相关的页面放入到主题数据库，将与主题不相关的页面放入到非主题数据库；将采集到的与主题相关的URL地址存放到主题类缓冲池；

S6、对主题数据库中的网页进行去重处理；删除主题数据库中相同的页面；并且对主题类缓冲池内的URL地址进行去重处理；

S7、提取主题数据库中去重后页面的URL地址；将提取到的URL地址添加到去重后主题类缓冲池内的URL地址序列中，并且进行去重处理；将去重处理后的URL地址序列存储到主题类缓冲池，将去重处理后的网页存储到基于教育主题的教育信息库。

2.如权利要求1所述的基于教育网络信息主题采集方法，其特征在于：在步骤S3中还包括步骤：结合定点策略、缓冲池策略，记录对应页面地址；该模块记录的页面地址最后全部提供给采集模块进行页面的采集；所述定点策略为只对人工选定的站点进行站内搜索；所述缓冲池策略为把采集的页面地址放入缓冲池。

3.如权利要求2所述的基于教育网络信息主题采集方法，其特征在于：在步骤S6和S7中采用哈希表对URL地址序列进行去重；

将所有的URL地址存储到hashmap容器中，然后通过strhash函数计算URL的hash值；

根据计算得到的URL的hash值在hashmap容器查找，如果该hash值已经存在，则删除该URL地址。

4.如权利要求3所述的基于教育网络信息主题采集方法，其特征在于：步骤S4中首先分别设置页面相关性和URL相关性的阀值，采用基于语义的向量空间模型方法进行页面相关性计算；通过pagerank算法对URL相关性进行计算；将相关性小于阀值的页面和URL删除。