[发明专利]一种数据获取方法、装置及系统

权利要求书

1.一种数据获取方法，其特征在于，应用于第一模块；所述方法包括：

在第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求；

根据预设规则，从抓取到的网路请求中筛选出目标获取请求；所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；

利用所述目标获取请求获取所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述利用所述目标获取请求获取所述目标数据，具体包括：

发送所述目标获取请求至所述数据服务器；

接收所述数据服务器对所述目标获取请求的应答；所述应答携带所述目标数据的数据地址；

从所述数据服务器对目标获取请求的应答中获取所述目标数据的数据地址；

利用所述目标数据的数据地址，获取所述目标数据。

3.根据权利要求1所述的方法，其特征在于，所述根据预设规则，从抓取到的网路请求中筛选出目标获取请求，具体包括：

判断待选网络请求中是否包括期望域名和/或期望参数；所述待选网络请求是所述抓取到的网路请求中的任意一个；

若是，则将所述待选网络请求作为所述目标获取请求。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求，之前还包括：

将所述目标数据的源url和用户登陆信息发送至所述第二模块，以使所述第二模块利用所述源url和所述用户登陆信息发送所述网络请求至所述数据服务器。

5.根据权利要求4所述的方法，其特征在于，所述用户登陆信息包括所述用户登陆临时文件，所述将所述目标数据的源url和用户登陆信息发送至所述第二模块，之前还包括：

判断所述用户登陆临时文件是否有效；

若否，则重新登录所述数据服务器获得有效的用户登陆临时文件。

6.根据权利要求4所述的方法，其特征在于，所述将所述目标数据的源url和用户登陆信息发送至所述第二模块，之前还包括：

判断所述用户登陆信息的使用频率是否超于预设阈值；

若是，则更新所述用户登陆信息。

7.一种数据获取装置，其特征在于，应用于第一模块；所述装置包括：请求获取单元、请求提取单元和数据获取单元；

所述请求获取单元，用于在第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求；

所述请求提取单元，用于根据预设规则，从抓取到的网路请求中筛选出目标获取请求；所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；

所述数据获取单元，用于利用所述目标获取请求获取所述目标数据。

8.一种数据获取系统，其特征在于，包括：第一模块和第二模块；

所述第二模块，用于发送网络请求至数据服务器；所述网络请求用于从所述数据服务器获取目标数据，所述网络请求包括目标获取请求，所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；

所述第一模块，用于在所述第二模块向所述数据服务器请求所述目标数据时，抓取所述第二模块发送的网络请求，并根据预设规则从抓取到的网路请求中筛选出所述目标数据获取请求，利用所述目标获取请求获取所述目标数据。

9.根据权利要求8所述的系统，其特征在于，所述第二模块为多个；

所述第一模块，还用于基于负载均衡规则，向每个所述第二模块发送各个目标数据的源url和用户登陆信息；

所述第二模块，具体用于利用所述第一模块发送的目标数据的源url和用户登陆信息，发送网络请求至所述数据服务器。

10.根据权利要求8或9所述的系统，其特征在于，

所述第一模块，还用于按照预设周期，重启所述第二模块。