[发明专利]一种Web数据自动采集的方法

摘要

本发明公开了一种Web数据自动采集的方法，包括以下步骤：网络机器人技术和网页数据提取技术；所述网络机器人技术包括设计网络机器人工作流程、制定网络机器人设计原则、深度优先搜索策略和广度优先搜索策略、网络陷阱、均衡访问和超链接提取；所述网页数据提取技术包括网页纯文本的提取和对文本中的特殊字符进行分析并处理；本发明提供的一种Web数据自动采集方法，充分利用网络机器人技术和网页数据提取技术，形成Web自动采集方法，从海量信息中收集有价值的数据并进行分析研究，形成企业各种决策的依据，解决了数据采集人员及市场研究人员所面临的一个问题，同时扩展了Web的可用性，对数据采集，尤其是自动数据采集的发展做出了一定贡献。

主权项

一种Web数据自动采集的方法，其特征在于包括以下步骤：A、网络机器人技术：A1、设计网络机器人工作流程：将机器人以一个或一组URL为浏览起点对相应的WWW文档进行访问，所述WWW文档为HTML文档；A2、制定网络机器人设计原则；A21、制定机器人不包括的项目标准：在服务器上创建一个机器人文本文件，该文本文件中说明网站不能访问的链接和网站拒绝访问的机器人；A22、制定机器人META标签：即用户在页面中加入一个META标签，该META标签允许一个页面的所有者指定是否允许机器人程序来索引页面或者从页面中提取链接；A3、深度优先搜索策略和广度优先搜索策略；A31、深度优先搜索策略是从起始结点出发，对第一个文档进行分析后取回第一个链接所指向的页面，对该页面进行分析后再取回其第一个链接所指向的文档，反复执行直至搜索到不包含任何超级链接的文档为止，将其定义为一个完整的链，然后返回某一文档，继续选择该文档中的其余超级链接，搜索结束的标志是全部超级链接已搜索完毕；A32、广度优先搜索策略是对第一个文档进行分析后，将该Web页面中所有超级链接搜索完毕，再继续下一层的搜索，直到最底层的搜索完成为止；A4、网络陷阱；A41、在访问新URL前与待搜索和已搜索URL对列列表中的URL进行比较，该比较为URL对象间的比较，将URL对列列表中不包含的URL添加到待搜索的URL列表，以避免掉进网络陷阱；A42、提取Web文档的超链接时忽略所有设有参数的URL；A43、限制机器人搜索深度；当到达阈值搜索深度后停止向下搜索，其中每进入到下一级子链接则表明到达了一个新的搜索深度；或者设定访问Web服务器的最大时间长度，当机器人访问该Web服务器的第一个网页时开始计时，经过最大时间长度后，在服务器上爬行的机器人程序即刻断开与该服务器的所有链接；A5、均衡访问；设定访问一个Web服务器的线程最大数并采用等待方式限制机器人程序或进程对特定服务器和网段的访问频率；每当机器人程序或进程从一个Web站点取得一个文档后，该机器人程序或进程将等待一定的间隔再对该Web站点进行新的访问，根据站点处理能力和网络通讯能力确定等待时间的长短，下一次访问该Web站点的时间T1为当前时间T2加上访问该Web站点所需的时间，访问该Web站点所需的时间取值为网络传输时间T3乘以已设定系数；A6、超链接提取；机器人程序在获取URL链接的同时持续对得到的链接所对应的Web源文档进行数据采集，并将Web源文档转换为字符流的形式；B、网页数据提取技术；B1、网页纯文本的提取；对获取的HTML源文件进行过滤处理并删掉其中的标签控制符提取文本信息，过滤网页数据后统一网页数据字符格式；B2、对文本中的特殊字符进行分析并处理。