[发明专利]一种数据抓取系统

权利要求书

1.一种数据抓取系统，其特征在于，所述系统包括：第一数据抓取子系统、第二数据抓取子系统；

所述第一数据抓取子系统用以抓取C/S结构系统的数据，包括钩子加载模块、抓取钩子模块、配置文件生成模块；

所述钩子加载模块用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；

所述抓取钩子模块用以监控其对应进程中业务数据的传递，并抓取相应的业务数据；

所述配置文件生成模块用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入；

所述钩子加载模块、抓取钩子模块、配置文件生成模块设置于第一C/S业务系统对应的计算机中；所述系统还包括设置于第二C/S业务系统对应的计算机中的数据利用模块，用以根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入；

所述第二数据抓取子系统用以抓取B/S结构系统的数据；所述第二数据抓取子系统包括：地址列表获取模块、网页数据请求模块、网页数据抓取模块、模拟登录模块；

所述地址列表获取模块用以获取需要抓取的网页的地址列表信息；

所述网页数据请求模块用以根据网页的地址列表信息提出请求，得到网页的内容；

所述网页数据抓取模块用以分析网页的结构，并提取出想要的内容；所述网页数据抓取模块用以根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数据；

所述模拟登录模块用以根据登录验证信息模拟登录；登录后，再进行数据的抓取。

2.一种数据抓取系统，其特征在于，所述系统包括：

钩子加载模块，用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；

抓取钩子模块，用以监控其对应进程中业务数据的传递，并抓取相应的业务数据；

配置文件生成模块，用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入。

3.根据权利要求2所述的数据抓取系统，其特征在于：

所述钩子加载模块、抓取钩子模块、配置文件生成模块设置于第一C/S业务系统对应的计算机中；

所述系统还包括设置于第二C/S业务系统对应的计算机中的数据利用模块，用以根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入。

4.根据权利要求2所述的数据抓取系统，其特征在于：

所述系统包括第一数据抓取子系统，用以抓取C/S结构系统的数据，包括所述钩子加载模块、抓取钩子模块、配置文件生成模块；

所述系统还包括第二数据抓取子系统，用以抓取B/S结构系统的数据；

所述第二数据抓取子系统包括：

地址列表获取模块，用以获取需要抓取的网页的地址列表信息；

网页数据请求模块，用以根据网页的地址列表信息提出请求，得到网页的内容；

网页数据抓取模块，用以分析网页的结构，并提取出想要的内容。

5.根据权利要求4所述的数据抓取系统，其特征在于：

所述第二数据抓取子系统进一步包括：模拟登录模块，用以根据登录验证信息模拟登录；登录后，再进行数据的抓取。

6.根据权利要求4所述的数据抓取系统，其特征在于：

所述网页数据抓取模块用以根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数据。