[发明专利]一种数据抓取系统

说明书

技术领域

本发明属于计算机及互联网技术领域，涉及一种数据抓取系统，尤其涉及一种C/S结构系统的数据抓取系统。

背景技术

目前在电子政务的推动工作中，往往要遇到这样一个问题：各政府部门条线系统在建设各自的信息系统时，对于与其他部门的信息系统的对接问题的考虑不周，这导致了各个系统之间缺乏横向联系，无法共享一些公共的数据信息。

这种现象引发了一系列的问题：包括系统数据的冗余，数据的缺失，甚至是不同系统中相通对象的描述数据严重不符；还存在二次数据录入的问题，相关系统数据维护者可能要向多个系统录入相关的数据，客观上加重了系统数据维护者的工作量。这一现象是与系统建设推动工作效率、减轻工作强度的初衷相违背的。但是要合理解决上述问题，不仅仅要靠技术上突破，还往往需要政府拿出切实可行政务电子化的发展方针，要有一个合理并弹性的，能协调各条线部门联横发展的路线来。

例如，上海各区县镇都在进行电子政务的建设，大都遇到一个问题，民政和劳保两条线中都有各自先前建设的老系统，一个是B/S结构的，一个是C/S结构的。遇到的实际困难是：这两个系统的后台数据库是无法向第三方公开的，也就是说，第三方无法直接向这些数据库中读写维护相关数据，所以客观上讲，第三方只有通过现有这两个系统来（合法地）完成数据维护。同时由于第三方要建立由上海区县政府所使用信息系统，这不可避免的会使用到民政和劳保的数据信息。如果采用同步录入数据，也就出现了前节所提到的二次录入的问题。

此外，还有一些业务数据只能通过网页的方式访问、查看，很难成为可以直接利用的数据资源，数据展示格式已固定不变，不能够灵活运用。

发明内容

本发明所要解决的技术问题是：提供一种数据抓取系统，可方便快捷地抓取其他C/S结构业务系统的数据，并提供给其他业务系统录入。

为解决上述技术问题，本发明采用如下技术方案：

一种数据抓取系统，所述系统包括：第一数据抓取子系统、第二数据抓取子系统；

所述第一数据抓取子系统用以抓取C/S结构系统的数据，包括钩子加载模块、抓取钩子模块、配置文件生成模块；

所述钩子加载模块用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；

所述抓取钩子模块用以监控其对应进程中业务数据的传递，并抓取相应的业务数据；

所述配置文件生成模块用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入；

所述钩子加载模块、抓取钩子模块、配置文件生成模块设置于第一C/S业务系统对应的计算机中；所述系统还包括设置于第二C/S业务系统对应的计算机中的数据利用模块，用以根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入；

所述第二数据抓取子系统用以抓取B/S结构系统的数据；所述第二数据抓取子系统包括：地址列表获取模块、网页数据请求模块、网页数据抓取模块、模拟登录模块；

所述地址列表获取模块用以获取需要抓取的网页的地址列表信息；

所述网页数据请求模块用以根据网页的地址列表信息提出请求，得到网页的内容；

所述网页数据抓取模块用以分析网页的结构，并提取出想要的内容；所述网页数据抓取模块用以根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数据；

所述模拟登录模块用以根据登录验证信息模拟登录；登录后，再进行数据的抓取。

一种数据抓取系统，所述系统包括：

钩子加载模块，用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；

抓取钩子模块，用以监控其对应进程中业务数据的传递，并抓取相应的业务数据；

配置文件生成模块，用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入。

作为本发明的一种优选方案，所述钩子加载模块、抓取钩子模块、配置文件生成模块设置于第一C/S业务系统对应的计算机中；所述系统还包括设置于第二C/S业务系统对应的计算机中的数据利用模块，用以根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入。