[发明专利]一种基于AJAX的Web数据采集方法及系统

摘要

本发明公开了一种基于AJAX的Web数据采集系统，涉及互联网数据采集技术。该采集系统通过在目标网站上部署JS探针代码，监听页面点击事件；通过HTML解析器将整个文档(HTML)中的标签元素映射为一个由层次节点组成的节点树。生成了HTML节点树后，需要通过过滤器进一步的过滤HTML节点树中的冗余标签，通过过滤HTML节点树中的不必要内容，使最后的采集结果包含尽可能少的无关信息。通过采集器遍历HTML节点树中的标签，在web前端采集HTML节点树中标签对应的文本内容。最后通过AJAX技术将采集数据封装并与数据库进行异步传输。本系统能够及时准确的采集用户发帖、评论内容，高效的实现Web数据采集。

主权项

一种基于AJAX的Web数据采集系统,其特征在于：包括客户端监听模块(1)、数据采集模块(2)、数据传输模块(3)及中心数据库模块(4)；所述客户端监听模块(1)设置于客户端与数据采集模块(2)之间对客户端点击事件进行监听；所述数据采集模块(2)包括HTML解析器(5)、过滤器(6)及采集器(7)；其中，所述HTML解析器(5)对客户端用户提交的HTML文档信息中的标签元素映射为由层次节点组成的HTML节点树；所述过滤器(6)根据过滤规则对HTML节点树中的冗余标签进行过滤修剪得到修剪HTML节点树；所述采集器(7)对修剪HTML节点树中标签对应的文本内容进行采集；所述数据传输模块(3)将所述数据采集模块(2)的采集器(7)采集的文本内容进行封装并存入中心数据库模块(4)；所述中心数据库模块(4)用于存放数据传输模块(3)传送来的文本内容。