[发明专利]通用互联网数据采集方法

说明书

技术领域

本发明涉及数据检索，特别涉及一种通用互联网数据采集方法。

背景技术

随着Web技术的不断发展，网络信息资源正以几何速度的方式增长。如何从互联网海量信息中快速检索出与用户相关的有用数据已成为当前急需解决的问题。搜索引擎正是在信息检索技术的基础上发展起来的。搜索引擎帮助本发明更好的表达和存储现实世界中的本质信息，而且通过对搜索引擎中的联接信息进行分析，可作为一种挖掘隐藏信息的有用工具。现有搜索引擎单纯的依赖有限搜索词去表达用户需求，存在这表达不完整的问题。即使是同样的搜索词，不同的用户所期望的结果可能也是不同的。例如微博系统，如果考虑微博以及相关交互对象的关系，它可以抽象为一个异构网络，其中包含了微博、信息、标签以及用户等节点。微博和微博之间存在着关注和粉丝关系，微博和信息之间存在着发表和转发关系，微博和标签之间是一个包含关系，而用户和微博之间存在着拥有关系。现有的搜索工具并未考虑上述多维对象形成的复杂环境进行数据挖掘。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种通用互联网数据采集方法，包括：

步骤1.事务从事务队列中获取一个非空采集事务对象；如果获取到空事务对象，则执行事务调度；

步骤2.判断采集事务的深度是否超过最大的深度；事务从当前采集事务对象中获取其当前事务对象所在的采集深度；如采集深度未超过系统配置的站点采集深度，则事务继续步骤3；

步骤3.判断采集事务的类型；如果是网页采集事务，则执行步骤4，如果不是网页采集事务，则执行步骤5；

步骤4.判断是否是新网页还是未完成的网页链接；如果此采集事务访问地址不在历史抓取库中，则按新发现的网页进行采集即步骤7；如果此采集事务在历史抓取库中，从历史抓取库中获取此网页地址的上次采集信息，即访问地址、访问时间、页面大小、更新频率、根域名；计算上次访问时间与本次访问当前时间的间隔时间是否已经超过更新频率，如果已经超过，则比较当前网页地址的页面内容大小与上一次页面内容大小，如果相等，则不进行采集，如果不相等，则继续步骤6；

步骤5.如果是媒体或文件链接，则执行相应的采集文档处理；如果是非法链接，则记录此异常链接；

步骤6.获取此网页链接页面源码，更新历史访问库中此网页地址的采集信息，执行步骤8；

步骤7.采集新任务网页，获取此网页链接页面的源码，在历史访问库中增加此网页地址的访问记录；

步骤8.执行网页清洗抽取，该网页清洗抽取步骤用于从网页源码中提取指定的特征信息，清除网页源码中的无用信息或噪声数据，然后再从清洗好数据中提取出需要的信息。

本发明相比现有技术，具有以下优点：

本发明提出了一种通用互联网数据采集方法，利用事务控制策略进行高效数据采集，针对多维对象之间的耦合关系进行数据挖掘。

附图说明

图1是根据本发明实施例的通用互联网数据采集方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种通用互联网数据采集方法。图1是根据本发明实施例的通用互联网数据采集方法流程图。