[发明专利]一种基于AJAX的Web数据采集方法及系统

说明书

技术领域

本发明涉及涉及互联网数据采集技术，具体是基于AJAX技术的Web数据采集方法及系统。

背景技术

随着互联网技术的飞速发展，互联网上的网页和网站数量以爆炸性的趋势增长，从而使互联网成为一个巨大的、分布广泛的数据源。Web数据采集被广泛应用于搜索引擎检索、内容安全检测、用户兴趣挖掘，以及个性化信息获取等多种服务和研究当中，因此，如何有效地获取和集成Web数据，为进一步的数据分析和挖掘提供支持，具有十分重要的应用价值和现实意义。

近年来，Ajax(Asynchronous JavaScript and XML)成了Web开发中关注的技术热点, 各种 Ajax框架迅速的发展了起来。目前, 所有主要的浏览器平台都支持 Ajax，Ajax已经成为了 Web应用的主流开发技术。在本采集系统中，利用AJAX不用刷新整个网页即可与服务器进行通讯的特点，实现Web前端与后台服务器之间数据的异步传输。

目前用于Web数据采集的方法主要有三种：

方法一：网络爬虫，按照一定的规则，从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足一定条件，系统停止采集网页。网络爬虫能全面的采集互联网数据，但是数据采集周期长，并且采集的数据不精准，采集数据大多包含导航条、广告信息、版权信息以及调查问卷等“噪音”内容，需要对采集回来的网页文件进行网页去噪等一系列的处理。

方法二：镜像端口，将交换机的一个或几个端口的数据包复制到一个指定的端口，通过分析仪连接镜像端口接受数据。因为将交换机的多端口流量镜像到一个端口上，可引起缓存过载及丢包现象，并且大多数据镜像端口会过滤掉不规则的数据包。

方法三：分路器TAP，将分路器TAP插入到半/全双工的10/100/1000M 网络链路中，可以使这条链路的全部数据信息复制到分析仪。分路器能保证数据100%的捕获而没有丢包，但是需额外费用购买分路器TAP，并且一次只能查看一条链路。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种采集数据精准、数据安全传输的基于AJAX的Web数据采集方法及系统。为达到上述目的，本发明的技术方案是：

一种基于AJAX的Web数据采集系统,其特征在于：包括客户端监听模块、数据采集模块、数据传输模块及中心数据库模块；

所述客户端监听模块设置于客户端与数据采集模块之间对客户端点击事件进行监听；

所述数据采集模块包括HTML解析器、过滤器及采集器；其中，所述HTML解析器对客户端用户提交的HTML文档信息中的标签元素映射为由层次节点组成的HTML节点树；所述过滤器根据过滤规则对HTML节点树中的冗余标签进行过滤修剪得到修剪HTML节点树；所述采集器对修剪HTML节点树中标签对应的文本内容进行采集；

所述数据传输模块将所述数据采集模块的采集器采集的文本内容进行封装并存入中心数据库模块；

所述中心数据库模块用于存放数据传输模块传送来的文本内容。

进一步的，所述客户端监听模块通过在目标网站植入JS探针代码实现监控客户端的点击事件。

进一步的，所述HTML文档包括标签元素、属性和文本。

进一步的，所述冗余标签包括<style>、<script>。

进一步的，所述数据采集模块的采集器采用getElementsByTagName法，对HTML节点树中标签对应的文本数据进行采集。

一种基于AJAX的Web数据采集方法，其特征在于包括以下步骤：

步骤1、在目标网站上部署JS探针代码，监听页面点击事件；

步骤2、检查该页面URL是否存在采集历史，如存在采集历史，则直接执行步骤步骤5，否则执行步骤3；

步骤3、对该页面的HTML标签元素进行提取，生成以HTML标签元素为节点的HTML节点树，存储该页面上的HTML标签元素；

步骤4、对HTML节点树进行修剪，去除不需要采集的冗余标签元素，并存储生成的修剪HTML节点树；

步骤5、遍历修剪后的HMTL节点树，采集节点树中标签元素对应的文本内容；

步骤6、将采集数据封装并与服务器进行异步传输。

本发明的优点及有益效果如下：