[发明专利]一种爬虫设备业务请求方法、装置和系统

说明书

本申请提供了一种爬虫设备业务请求方法、装置和系统，负载均衡设备，接收到部署在内网的爬虫设备发送的业务请求时，若该业务请求携带route cookie，则将所述业务请求发送给所述route cookie对应的代理服务器；代理服务器，接收到负载均衡设备发送的业务请求时，确定本地是否存储route cookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端；代理客户端，接收到代理服务器发送的业务请求时，向目标站发送所述业务请求。该方案能够降低成本，提高安全性，以及可用性。

技术领域

本发明涉及互联网技术领域，特别涉及一种爬虫设备业务请求方法、装置和系统。

背景技术

互联网很多应用都需要使用到爬虫技术，利用爬虫设备，如爬虫机器人代理人工完成一些频繁执行的操作。

现在一般的网络部署，都是将机器人部署在外网，但是由于安全问题，大部分运营客户的开发资源是不对外开放的，因此，部署在外网的爬虫设备也就失去了使用这些资源的权限。

为解决上述问题，需要重新在公网建立一套开发环境资源，例如：redis集群、MQ集群、RPC调度中心、监控系统。另外一个方面部署在外网的机器人也不安全，需要投入额外的运维、安全防护的精力。

发明内容

有鉴于此，本申请提供一种爬虫设备业务请求方法、装置和系统，能够降低成本，提高安全性，以及可用性。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种爬虫设备业务请求系统，该系统包括：爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端；

负载均衡设备，接收到部署在内网的爬虫设备发送的业务请求时，若该业务请求携带route cookie，则将所述业务请求发送给所述route cookie对应的代理服务器；

代理服务器，接收到负载均衡设备发送的业务请求时，确定本地是否存储routecookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端；

代理客户端，接收到代理服务器发送的业务请求时，向目标站发送所述业务请求。

一种爬虫设备业务请求方法，应用于包括爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端的系统中的任一代理服务器上，该方法包括：

接收到负载均衡设备转发的部署在内网的爬虫设备发送的业务请求时，确定本地是否存储所述业务请求携带的route cookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端，使代理客户端向目标站发送所述业务请求；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端，使代理客户端向目标站发送所述业务请求。

一种爬虫设备业务请求装置，应用于包括爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端的系统中的任一代理服务器上，该装置包括：接收单元、确定单元和发送单元；

所述接收单元，用于接收负载均衡设备转发的部署在内网的爬虫设备发送的业务请求；

所述确定单元，用于当所述接收单元接收到业务请求时，确定本地是否存储所述业务请求携带的route cookie和长连接标识的映射关系；

所述发送单元，用于当所述确定单元确定存储所述业务请求携带的route cookie和长连接标识的映射关系时，通过对应长连接将所述业务请求发送给对应代理客户端，使代理客户端向目标站发送所述业务请求；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端，使代理客户端向目标站发送所述业务请求。