[发明专利]一种基于代理池的IP限制受控源信息抓取方法

摘要

本发明涉及一种基于代理池的IP限制受控源信息抓取方法，属于计算机科学中的数据获取与处理技术领域。该方法包含如下步骤维护两个代理池A和B，将所有代理存储于代理池A中；测试可用代理并初始化代理池B；抓取过程中在代理池B中随机选择代理进行使用；抓取过程中由于代理池B的动态维护操作触发代理池B的更新操作；利用所述代理池算法，实现对IP限制受控信息源的高效抓取。本发明通过维护两个代理池，在信息抓取的过程中动态调控可用代理，解决了代理不稳定，抓取效率低下等问题，为各种数据驱动的实验扩充资源。

主权项

一种基于代理池的IP限制受控源信息抓取方法，其特征在于：通过动态地维护代理池，以保证抓取系统使用的代理持续可靠可用，以实现对受控信息源数据高效地抓取；基本思想是通过动态地维护两个代理池A和B，将所有代理存储于代理池A中；使用代理池A中的每个代理向待抓取的受控源种子URL发送一次或多次请求通过响应的状态码来测试代理池A中的可用代理，将代理池A中的可用代理加入到代理池B中；抓取过程中每次发送请求都从代理池B中随机选择一个代理作为代理服务器；若选择代理在抓取过程中一次或连续多次抓取失败，则将该代理从代理池B中删除，当代理池B中代理数量低于某个预设的值时，再次对A中的代理进行测试，将可用代理填充到代理池B中；利用所述代理池算法，实现对IP限制受控信息源地高效抓取；所述方法包含如下步骤：步骤1、维护两个代理池A和B，将所有代理存储于代理池A中；步骤2、测试可用代理并初始化代理池B；步骤3.抓取过程中在代理池B中随机选择代理，根据映射值判断是否为可用代理，并根据信息获取成功与否更新应设置，即测试是否为可用代理并进行使用；至此，从步骤1到步骤3，完成了一种基于代理池的IP限制受控源信息抓取方法。