[发明专利]一种爬虫设备业务请求方法、装置和系统

权利要求书

1.一种爬虫设备业务请求系统，其特征在于，该系统包括：爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端；

负载均衡设备，接收到部署在内网的爬虫设备发送的业务请求时，若该业务请求携带route cookie，则将所述业务请求发送给所述route cookie对应的代理服务器；

代理服务器，接收到负载均衡设备发送的业务请求时，确定本地是否存储routecookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端；

代理客户端，接收到代理服务器发送的业务请求时，向目标站发送所述业务请求。

2.一种爬虫设备业务请求方法，其特征在于，应用于包括爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端的系统中的任一代理服务器上，该方法包括：

接收到负载均衡设备转发的部署在内网的爬虫设备发送的业务请求时，确定本地是否存储所述业务请求携带的route cookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端，使代理客户端向目标站发送所述业务请求；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端，使代理客户端向目标站发送所述业务请求。

3.根据权利要求2所述的方法，其特征在于，

与所述代理客户端建立长连接完成时，存储长连接标识与代理客户端标识的映射关系；其中，一个代理服务器与1个或多个代理终端建立长连接；一个代理客户端与1个或多个代理服务器建立长连接。

4.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：

在按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端之后，将所述业务请求中携带的route cookie与选择的长连接的长连接标识建立映射关系，并锁定该长连接标识；

针对一业务请求按照第一预设规则，选择长连接时，在锁定的长连接标识对应的长连接之外的长连接中选择。

5.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：

使代理客户端向目标站发送所述业务请求之前，向目标站发送连接请求；若第一预设时间内未接收到目标站的响应，或者，接收到目标站的拒绝响应，则切换当前使用的IP地址后向目标站发送连接请求；直到在发送连接请求后第一预设时间内接收到所述目标站发送的接受响应时，向所述目标站使用发送该连接请求的IP地址发送所述业务请求。

6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：

使代理客户端向所述目标站使用发送该连接请求的IP地址发送所述业务请求后，若第二预设时间内未接收到目标站的响应，或接收到的响应中携带本代理客户端配置的错误关键字，则切换当前使用的IP地址；

使代理客户端切换当前使用的IP地址后，对所述目标站进行探测；若探测失败再次切换IP地址，并再次进行探测；直到探测成功时，使用探测成功时使用的IP地址发送所述业务请求。

7.根据权利要求2-6所述的方法，其特征在于，所述方法进一步包括：

使代理客户端针对向目标站发送业务请求时使用的IP地址，配置切换定时器；当切换定时器定时到时，切换IP地址进行业务请求的发送。