[发明专利]代理云环境中的用户抓取外部网页的方法和装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种代理云环境中的用户抓取外部网页的方法和装置。

背景技术

目前，在代理云环境中访问一个外部网页或者向一个外部地址提交请求的需求很常见，用户可以通过FetchURL服务（云环境提供的网页抓取服务）提供的sdk（Software Development Kit，软件开发工具包）访问外部网页，但是，这种访问方式存在以下问题：（1）sdk的限制条件较多，不支持用户的自定义需求；（2）无法对用户的使用资源进行审计；（3）不支持https访问。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种代理云环境中的用户抓取外部网页的方法，该方法不仅满足用户获取外部资源的需求，同时可对用户的使用资源进行统计，方便管理，并对使用量较大的用户进行限制，提高使用效率。

本发明的另一目的在于提出一种代理云环境中的用户抓取外部网页的装置。

为了实现上述目的，根据本发明第一方面的实施例的代理云环境中的用户抓取外部网页的方法包括以下步骤：接收所述用户抓取网页的请求；验证所述用户的身份；统计所述用户的配额以确定所述用户是否在黑名单中；解析所述请求以确定是否要求使用http或https协议抓取网页；以及如果所述用户通过身份验证且不在所述黑名单中，则按照所述要求而代理用户使用http或https协议抓取网页。

根据本发明实施例的代理云环境中的用户抓取外部网页的方法，在代理云环境中通过用户身份验证和配额黑名单验证以使得符合身份验证和配额黑名单验证的用户使用http或https协议抓取网页，不仅满足用户获取外部资源的需求，同时可对用户的使用资源进行统计，方便管理，并对使用量较大的用户进行限制，提高使用效率。

为了实现上述目的，根据本发明第二方面的实施例的代理云环境中的用户抓取外部网页的装置包括：接收模块，所述接收模块用于接收所述用户抓取网页的请求；验证模块，所述验证模块用于验证所述用户的身份；统计模块，所述统计模块用于统计所述用户的配额以确定所述用户是否在黑名单中；解析模块，所述解析模块用于解析所述请求以确定是否要求使用http或https协议抓取网页；以及抓取模块，所述抓取模块用于在所述用户通过身份验证且不在所述黑名单中时，按照所述要求而代理用户使用http或https协议抓取网页。

根据本发明实施例的代理云环境中的用户抓取外部网页的装置，在代理云环境中通过用户身份验证和配额黑名单验证以使得符合身份验证和配额黑名单验证的用户使用http或https协议抓取网页，不仅满足用户获取外部资源的需求，同时可对用户的使用资源进行统计，方便管理，并对使用量较大的用户进行限制，提高使用效率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的代理云环境中的用户抓取外部网页的方法的流程图；

图2是根据本发明实施例的实现代理云环境中抓取外部网页的系统示意图；

图3是根据本发明一个实施例的代理云环境中的用户抓取外部网页的方法的流程图；

图4是根据本发明一个实施例的代理云环境中的用户抓取外部网页的方法的流程图；

图5是根据本发明一个实施例的代理云环境中的用户抓取外部网页的方法的流程图；以及

图6是根据本发明一个实施例的代理云环境中的用户抓取外部网页的装置的结构框图；

图7是根据本发明一个实施例的代理云环境中的用户抓取外部网页的装置的结构框图；

图8是根据本发明一个实施例的代理云环境中的用户抓取外部网页的装置的结构框图；

图9是根据本发明一个实施例的代理云环境中的用户抓取外部网页的装置的结构框图；以及

图10是根据本发明一个实施例的代理云环境中的用户抓取外部网页的装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。