[发明专利]一种Web数据自动采集的方法

说明书

技术领域

本发明涉及一种数据采集技术，特别是一种Web数据自动采集的方法。

背景技术

随着网络资源的不断丰富和网络信息量的不断膨胀，人们对网络的依赖性越来越强，却也给服务对象从浩如烟海的互联网资源中快速找到自己所需的特定资源带来了不便；信息自古就有无限的价值，随着时代的不断发展，人类不知不觉已经来到了信息时代，各行各业都充斥了无数的信息，而信息的价值就在于数据的流通，如果数据能够及时的流通和传递起来，才能发挥信息真正的不可比拟的价值；在市场经济条件下，采集数据已经成为重要的工具和手段。

如何从海量信息中收集有价值的数据并进行分析研究，形成企业各种决策的依据，是数据采集人员及市场研究人员所面临的一个问题；要从大量的数据中迅速的找到并获得自己所需要的信息和服务，变得越来越困难，服务对象在查询信息时往往会迷失他们的目标或者是得到一些比较偏颇的结果；数据必须经过汇总、整合、分析才能产生价值，零散的信息只能是新闻性的，无法体现真正的商业价值；对于企业以及信息分析人员来说，一方面要在大量的信息中过滤出有效的价值点，同时又要降低获取相应信息的成本，使信息的实际使用价值大于收集、分析信息等过程所产生的成本，使信息为企业的决策带来增值价值。

互联网的普及，信息技术的发展，形成了大量的信息资源；从海量的信息中抽取出有用的资源，是当前迫切需要解决的问题，而Web页面所表达的主要信息通常隐藏在大量无关的结构和文字中，使用户不能迅速获取主题信息，限制了Web的可用性，Web自动采集有助于解决这一问题，自动采集省时省力，信息覆盖面广，但信息提取质量不高，从而将影响查准率；所以大多数的数据采集工作现在都采用自动采集方式；自动采集技术就是在这种背景下产生的。

发明内容

本发明针对以上问题的提出，而研制一种通过网络机器人技术和应用网页数据提取技术的Web数据自动采集的方法。

本发明的技术手段如下：

一种Web数据自动采集的方法，其特征在于包括以下步骤：

A、网络机器人技术：

A1、设计网络机器人工作流程：将机器人以一个或一组URL为浏览起点对相应的WWW文档进行访问，所述WWW文档为HTML文档；

A2、制定网络机器人设计原则；

A21、制定机器人不包括的项目标准：在服务器上创建一个机器人文本文件，该文本文件中说明网站不能访问的链接和网站拒绝访问的机器人；

A22、制定机器人META标签：即用户在页面中加入一个META标签，该META标签允许一个页面的所有者指定是否允许机器人程序来索引页面或者从页面中提取链接；

A3、深度优先搜索策略和广度优先搜索策略；

A31、深度优先搜索策略是从起始结点出发，对第一个文档进行分析后取回第一个链接所指向的页面，对该页面进行分析后再取回其第一个链接所指向的文档，反复执行直至搜索到不包含任何超级链接的文档为止，将其定义为一个完整的链，然后返回某一文档，继续选择该文档中的其余超级链接，搜索结束的标志是全部超级链接已搜索完毕；

A32、广度优先搜索策略是对第一个文档进行分析后，将该Web页面中所有超级链接搜索完毕，再继续下一层的搜索，直到最底层的搜索完成为止；

A4、网络陷阱；

A41、在访问新URL前与待搜索和已搜索URL对列列表中的URL进行比较，该比较为URL对象间的比较，将URL对列列表中不包含的URL添加到待搜索的URL列表，以避免掉进网络陷阱；

A42、提取Web文档的超链接时忽略所有设有参数的URL；

A43、限制机器人搜索深度；当到达阈值搜索深度后停止向下搜索，其中每进入到下一级子链接则表明到达了一个新的搜索深度；或者设定访问Web服务器的最大时间长度，当机器人访问该Web服务器的第一个网页时开始计时，经过最大时间长度后，在服务器上爬行的机器人程序即刻断开与该服务器的所有链接；

A5、均衡访问；设定访问一个Web服务器的线程最大数并采用等待方式限制机器人程序或进程对特定服务器和网段的访问频率；每当机器人程序或进程从一个Web站点取得一个文档后，该机器人程序或进程将等待一定的间隔再对该Web站点进行新的访问，根据站点处理能力和网络通讯能力确定等待时间的长短，下一次访问该Web站点的时间T1为当前时间T2加上访问该Web站点所需的时间，访问该Web站点所需的时间取值为网络传输时间T3乘以已设定系数；