[发明专利]令牌获取方法、数据采集系统、代理服务器和存储介质

说明书

本发明实施例涉及数据采集技术领域，公开了一种令牌获取方法、数据采集系统、代理服务器和存储介质。该方法应用于代理服务器，客户端和至少一目标服务器通过代理服务器通信，其中，客户端向目标服务器请求服务时目标服务器生成令牌，且通过代理服务器将令牌返回至客户端，该方法包括：解析得到目标服务器返回至客户端的令牌；将令牌发送至爬虫服务器，供爬虫服务器根据令牌从对应的目标服务器爬取数据。本发明实施方式通过代理服务器获取令牌，从而大大降低了令牌获取难度，进而可方便、有效地实现数据采集。

技术领域

本发明涉及数据采集技术领域，特别涉及一种令牌获取方法、数据采集系统、代理服务器和存储介质。

背景技术

Token(令牌)是一种密钥，用于标识用户的身份，以实现客服端和服务端之间的通信，其是服务端生成的一串字符串，作为客户端请求服务的一个标识。当用户第一次登录后，服务器生成一个token并将此token返回给客户端，以后客户端只需携带token即可请求数据，无需再次携带用户名和密码，从而起到安全、保密作用。

爬虫服务是一种重要的数据采集方式，随着大数据时代的到来，爬虫服务的应用也会越来越广泛，可以为企业等提供各种数据情报。现有爬虫方案一般是在服务器端，通过账户和密码，发出模拟登录请求，获取到token，然后通过该token去爬取相应的数据。

发明人发现相关技术至少存在以下问题：有些特殊的token，无法通过账户密码模拟登录获取，比如爬取微信小程序里的一些公开数据时，由于其token是由微信客户端加密生成，且微信源码并不公开，难以了解其加密算法，而且加密一般需要用到密钥，故而要生成正确的token非常困难，进而大大增加了数据爬取难度。

发明内容

本发明实施方式的目的在于提供一种令牌获取方法、数据采集系统、代理服务器和存储介质，通过代理服务器获取令牌，从而大大降低了令牌获取难度，进而可方便、有效地实现数据采集。

为解决上述技术问题，本发明的实施方式提供了一种令牌获取方法，应用于代理服务器，客户端和至少一目标服务器通过所述代理服务器通信，其中，所述客户端向所述目标服务器请求服务时所述目标服务器生成令牌，且通过所述代理服务器将所述令牌返回至所述客户端，所述方法包括：

解析得到所述目标服务器返回至所述客户端的令牌；

将所述令牌发送至爬虫服务器，供所述爬虫服务器根据所述令牌从对应的所述目标服务器爬取数据。

本发明的实施方式还提供了一种数据采集系统，包括：客户端、代理服务器、爬虫服务器以及至少一目标服务器；

所述客户端通过所述代理服务器与所述至少一目标服务器通信；

所述客户端用于通过所述代理服务器向所述至少一目标服务器请求服务，所述目标服务器生成令牌，并通过所述代理服务器将所述令牌返回至所述客户端；

所述代理服务器还用于执行如前所述的令牌获取方法；

所述爬虫服务器用于根据所述令牌从对应的目标服务器爬取数据。

本发明的实施方式还提供了一种代理服务器，包括：存储器和处理器，存储器存储计算机程序，处理器运行所述计算机程序以实现如前所述的令牌获取方法。

本发明的实施方式还提供了一种存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行如前所述的令牌获取方法。