[发明专利]基于XML和XPath的Web数据提取系统以及其使用方法

说明书

本发明属于数据提取技术领域，尤其是基于XML和XPath的Web数据提取系统以及其使用方法，现提出如下方案，包括基于XML和XPath的Web数据提取系统，包括用于向网络数据库当中网页进行转换的转换模块，所述转换模块依次连接有解析模块、抽取建立模块、抽取整合模块、爬取整合模块和推送模块，所述抽取建立模块依次连接有抽取设定模块和抽取指令修改模块，解析模块、抽取设定模块和爬取整合模块均连接有同一个存储模块，还包括基于XML和XPath的Web数据提取系统的使用方法。本发明实现了非结构化数据的转换、抽取爬取、整合处理，同时根据需要设定抽取爬取规则，从而实现不同数据爬取需要，适合不同类型的非结构数据的处理操作，提高非结构数据的处理效率和质量。

技术领域

本发明涉及数据提取技术领域，尤其涉及基于XML和XPath的Web数据提取系统以及其使用方法。

背景技术

网络与信息时代的到来，数据与信息充斥着我们的生活，渗透于各个领域。在过去几年，每天从我们的网络日志，社交网站，在线交易记录，抑或其他数据源产生大量的数据。当前的数据库导入技术与检索方式能否将日常产生的数据全部规范为数据库格式，抑或是从那些有用却又难以处理的海量非结构化的数据中挖掘与分析出有用的信息，已经成为目前研究的热点问题。

非结构化的数据指的是那些不便于用数据库二维逻辑表来表现的数据，包括文本、图片、XML、HTML、音/视频等。目前从Internet上采集到的数据85％以上是非结构化和半结构化的数据。例如百度每天大约要处理几十PB数据；Facebook注册用户超过10亿，每月上传的照片超过10亿张，每天生成300TB以上的日志数据；淘宝网会员超过3.7亿，在线商品超过8.8亿，每天交易数千万笔，产生约20TB数据；雅虎的总存储容量超过100PB等。如此的数据量，并且在云计算和物联网等相关技术的带动下，目前世界已逐步进入了“大数据”(BigData)时代，现有的非结构化的数据处理不方便，数据提取不方便，为此需要基于XML和XPath的Web数据提取系统以及其使用方法。

发明内容

本发明提出的基于XML和XPath的Web数据提取系统以及其使用方法，解决了现有技术中存在的问题。

为了实现上述目的，本发明采用了如下技术方案：

基于XML和XPath的Web数据提取系统，包括用于向网络数据库当中网页进行转换的转换模块，所述转换模块依次连接有解析模块、抽取建立模块、抽取整合模块、爬取整合模块和推送模块，所述抽取建立模块依次连接有抽取设定模块和抽取指令修改模块，解析模块、抽取设定模块和爬取整合模块均连接有同一个存储模块。

优选的，所述转换模块将当前提取的目标网页转换成规范的XML网页，解析模块将转换的XML网页解析成DOM树，抽取建立模块从解析后的DOM树当中抽取需要的目标Web信息点内容，抽取整合模块将抽取之后的Web信息点内容进行整合处理形成抽取列表，爬取整合模块按照抽取整合的抽取列表从网络数据库当中下载爬取相对应的目标文件内容，最后将下载爬取相对应的目标文件内容进行转换压缩，推送模块将下载爬取之后的目标文件内容推送至网络数据库供使用人员使用。

优选的，所述抽取指令修改模块用于接收抽取方式指令内容，抽取设定模块根据接收的抽取方式指令内容对抽取建立模块当中的抽取方式进行修改。

基于XML和XPath的Web数据提取系统的使用方法，包括以下步骤：

S1目标网页的转换和解析

首先转换模块将当前提取的目标网页转换成规范的XML网页，同时解析模块将转换的XML网页解析成DOM树并传输至抽取建立模块；

S2抽取方式调控

操作人员向抽取指令修改模块发生抽取方式指令内容，然后抽取设定模块根据接收的抽取方式指令内容对抽取建立模块当中的抽取方式进行修改；

S3目标内容抽取