[发明专利]一种页面的下载方法及客户端

说明书

技术领域

本发明涉及网页下载技术，尤其涉及一种页面的下载方法及客户端。

背景技术

为了增强访问网络页面的速度，一般使用多线程并发的方式访问网络页面。通过线程访问页面时会生成会话标识(session id)，以及下载页面所需的cookie文件。这种页面访问方式对每个线程访问的页面顺序要求比较严格，在前一页面没有下载成功之前，线程不能继续后续的下载，否则可能会因cookie问题导致返回的页面不符合预期，也不易进行分布式部署。

此外，由于会话是在线程访问页面时生成，对一些入口页面要求较高(比如有验证码、或使用逻辑复杂的渲染方式生成cookie的页面)的访问，用现有的页面访问方式很难实现。

发明内容

为解决上述技术问题，本发明实施例提供了一种页面的下载方法及客户端。

本发明实施例提供的页面的下载方法，包括：

获取页面的链接数据；

基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

当查询到存在与所述链接数据相对应的cookie信息时，

识别所述cookie信息，若所述cookie信息为cookie文件，则利用所述cookie文件下载所述页面，若所述cookie信息为cookie的配置文件时，利用所述配置文件获取cookie文件，并利用获取的cookie文件下载所述页面。

本发明实施例中，所述当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，包括：

判断所述数据库中是否存在与所述配置文件相对应的cookie文件；

若不存在，利用所述配置文件下载cookie文件；

若存在，从所述数据库中获取与所述配置文件相对应的cookie文件。

本发明实施例中，所述方法还包括：

当利用所述配置文件下载cookie文件之后，所述方法还包括：

将下载的cookie文件存入所述数据库中，并在所述数据库中建立下载的cookie文件与所述cookie的配置文件之间的对应关系。

本发明实施例中，所述方法还包括：

当查询到不存在与所述链接数据相对应的cookie信息时，直接基于所述链接数据下载所述页面。

本发明实施例提供的客户端，包括：

获取单元，用于获取页面的链接数据；

查询单元，用于基于所述链接数据，在数据库中查询是否存在与所述链接数据相对应的cookie信息；

第一处理单元，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie文件时，利用所述cookie文件下载所述页面；

第二处理单元，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，利用所述配置文件下载cookie文件，并利用所述cookie文件下载所述页面。

本发明实施例中，所述第二处理单元包括：

判断子单元，用于当查询到存在与所述链接数据相对应的cookie信息，且所述cookie信息为cookie的配置文件时，判断所述数据库中是否存在与所述配置文件相对应的cookie文件；

下载子单元，用于当所述数据库中不存在与所述配置文件相对应的cookie文件时，利用所述配置文件下载cookie文件。

本发明实施例中，所述下载子单元，还用于当所述数据库中存在与所述配置文件相对应的cookie文件时，直接利用所述cookie文件下载所述页面。

本发明实施例中，所述客户端还包括：

存储单元，用于利用所述配置文件下载cookie文件之后，将下载的cookie文件存入所述数据库中，并建立所述cookie的配置文件与所述cookie文件之间的映射关系。

本发明实施例中，所述装置还包括：

第三处理单元，用于当查询到不存在与所述链接数据相对应的cookie信息时，直接下载所述页面。