[发明专利]一种分布式采集公开页面数据的方法

摘要

一种分布式采集公开页面数据的方法，将爬虫程序镜像化，打包所有的编程环境依赖与软件环境依赖为镜像。将镜像使用加权轮询算法分发至各个机器节点，保证爬虫集群整体负载均衡。使用docker swarm命令形式管理爬虫任务的资源分配，完成对爬虫任务的动态增减集群资源。其优点是能解决分布式爬虫在集群环境中的资源抢占、无法动态分配资源、集群可拓展性弱等问题，使用者只需要设定每个任务的参数，如任务在集群中启动数量、任务在集群节点分布、任务对应黑名单机器节点，将爬虫代码与设置文件打包后上传集群，即可完成任务自动分发，节省开发成本，规避集群资源分配问题于集群编程环境依赖缺少、依赖冲突问题。

主权项

1.一种分布式采集公开页面数据的方法，其特征在于包括如下步骤：一．分析数据源url网页结构与请求模式，编写合适的网络抓取、数据提取代码与数据存储方式，编写爬虫程序；二．访问数据源url或调用浏览器底层驱动模拟浏览器的方式访问数据源url；三．爬虫程序的任务获取路径指定为redis集群，将所有数据源url存入redis集群，爬虫程序从redis集群中获取任务；四．将单点爬虫程序分布在爬虫集群的各个节点上，首先将爬虫程序所需的编程环境依赖与软件环境依赖打包为镜像；五．将爬虫程序打包放在dockerfile同路径下，并在dockerfile中声明传输上下文文件至docker镜像中；执行dockerfile将爬虫程序与所需环境打包为docker镜像；六．将爬虫程序打包为爬虫docker镜像后，在各个机器节点上运行docker swarm，选取集群主机并在集群主机上运行镜像仓库容器；七．上传打包好的爬虫docker镜像至集群主机的镜像仓库；八．在集群主机上执行任务启动命令，任务启动命令包含爬虫docker镜像在集群中启动个数、对外暴露端口号、爬虫镜像名信息；九.执行启动命令后docker swarm集群使用负载均衡机制将第八步中提交的启动个数分布在所有机器节点上。