[发明专利]一种B/S结构系统的数据抓取方法

说明书

技术领域

本发明属于计算机及互联网技术领域，涉及一种数据抓取方法，尤其涉及一种B/S结构系统的数据抓取方法。

背景技术

目前在电子政务的推动工作中，往往要遇到这样一个问题：各政府部门条线系统在建设各自的信息系统时，对于与其他部门的信息系统的对接问题的考虑不周，这导致了各个系统之间缺乏横向联系，无法共享一些公共的数据信息。

这种现象引发了一系列的问题：包括系统数据的冗余，数据的缺失，甚至是不同系统中相通对象的描述数据严重不符；还存在二次数据录入的问题，相关系统数据维护者可能要向多个系统录入相关的数据，客观上加重了系统数据维护者的工作量。这一现象是与系统建设推动工作效率、减轻工作强度的初衷相违背的。但是要合理解决上述问题，不仅仅要靠技术上突破，还往往需要政府拿出切实可行政务电子化的发展方针，要有一个合理并弹性的，能协调各条线部门联横发展的路线来。

例如，上海各区县镇都在进行电子政务的建设，大都遇到一个问题，民政和劳保两条线中都有各自先前建设的老系统，一个是B/S结构的，一个是C/S结构的。遇到的实际困难是：这两个系统的后台数据库是无法向第三方公开的，也就是说，第三方无法直接向这些数据库中读写维护相关数据，所以客观上讲，第三方只有通过现有这两个系统来（合法地）完成数据维护。同时由于第三方要建立由上海区县政府所使用信息系统，这不可避免的会使用到民政和劳保的数据信息。如果采用同步录入数据，也就出现了前节所提到的二次录入的问题。

此外，还有一些业务数据只能通过网页的方式访问、查看，很难成为可以直接利用的数据资源，数据展示格式已固定不变，不能够灵活运用。

发明内容

本发明所要解决的技术问题是：提供一种B/S结构系统的数据抓取方法，可方便快捷地抓取其他B/S结构业务系统的数据，并提供给其他业务系统录入。

为解决上述技术问题，本发明采用如下技术方案：

一种上述数据抓取系统的数据抓取方法，所述方法包括：

地址列表获取步骤，获取需要抓取的网页的地址列表信息；

网页数据请求步骤，根据网页的地址列表信息提出请求，得到网页的内容；

网页数据抓取步骤，分析网页的结构，并提取出想要的内容。

作为本发明的一种优选方案，所述方法进一步包括：模拟登录步骤，根据登录验证信息模拟登录；登录后，再进行数据的抓取。

作为本发明的一种优选方案，所述网页数据抓取步骤中，根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数据。

作为本发明的一种优选方案，所述方法包括C/S数据抓取流程，抓取C/S结构系统的数据；包括如下步骤：

钩子加载步骤：钩子加载模块根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；

数据抓取步骤：抓取钩子模块监控其对应进程中业务数据的传递，并抓取相应的业务数据；

配置文件生成步骤：配置文件生成模块将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入。

数据利用步骤，根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入。

本发明的有益效果在于：本发明提出的B/S结构系统的数据抓取方法，可方便快捷地抓取其他B/S结构业务系统的数据，并提供给其他业务系统录入。

本发明使用WINDOWS SOCKET的方法抓取流经网络的网页中的数据，当用户提交网页数据时，B/S程序就能够根据数据发送的源地址与目标地址抓取所需的网页中的数据，因为是抓取的TCP/IP数据包，需要对其进行解析从而获得HTTP协议中的文本数据。

附图说明

图1为实施例一中数据抓取系统的框架图。

图2为实施例一中数据抓取系统的组成示意图。

图3为实施例一中第一数据抓取子系统的组成示意图。

图4为实施例一中第一数据抓取流程的流程图。

图5为实施例一中第二数据抓取流程的流程图。

图6为实施例二中B/S结构系统的数据抓取系统的组成示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一