[发明专利]一种基于Kubenetes集群的分布式爬虫方法和存储设备

权利要求书

1.一种基于Kubenetes集群的分布式爬虫方法，其特征在于，包括步骤：

构建代码仓库；

构建制品库；

构建自动化部署流程；

根据所述部署流程将制品库的镜像文件自动部署至Kubenetes的各个节点上；

启动爬虫任务进行任务采集。

2.根据权利要求1所述的一种基于Kubenetes集群的分布式爬虫方法，其特征在于，所述“构建制品库”前，具体还包括步骤：

当有修改后的代码提交至代码仓库时，对提交的代码进行自动化构建，所述自动化构建包括但不限于：代码检查、单元测试、编译构建。

3.根据权利要求1所述的一种基于Kubenetes集群的分布式爬虫方法，其特征在于，所述“构建制品库”，还包括步骤：

根据构建脚本文件进行制品库构建，所述构建脚本文件包括：多条指令；

一条指令用于指导构建一层，所述指令的内容包括但不限于：需要的操作系统、代码库、依赖的第三方包、根据环境变量灵活动态的添加一些参数来构建一个版本的制品库、版本控制和追踪。

4.根据权利要求1所述的一种基于Kubenetes集群的分布式爬虫方法，其特征在于，所述“根据所述部署流程将制品库的镜像文件自动部署至Kubenetes的各个节点上”，具体还包括步骤：

开启内部DNS实现service发现；

通过kubectl并配置连接到集群；

根据yml指令将爬虫部署在多个Node节点的多个最小的调度单元Pod上；

通过Pod控制器控制爬虫的规模。

5.根据权利要求1所述的一种基于Kubenetes集群的分布式爬虫方法，其特征在于，所述“构建自动化部署流程”，具体还包括步骤：

配置自动化部署流程，或预设触发条件，当达到触发条件时触发自动部署。

6.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：

构建代码仓库；

构建制品库；

构建自动化部署流程；

根据所述部署流程将制品库的镜像文件自动部署至Kubenetes的各个节点上；

启动爬虫任务进行任务采集。

7.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：

所述“构建制品库”前，具体还包括步骤：

当有修改后的代码提交至代码仓库时，对提交的代码进行自动化构建，所述自动化构建包括但不限于：代码检查、单元测试、编译构建。

8.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“构建制品库”，还包括步骤：

根据构建脚本文件进行制品库构建，所述构建脚本文件包括：多条指令；

一条指令用于指导构建一层，所述指令的内容包括但不限于：需要的操作系统、代码库、依赖的第三方包、根据环境变量灵活动态的添加一些参数来构建一个版本的制品库、版本控制和追踪。

9.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“根据所述部署流程将制品库的镜像文件自动部署至Kubenetes的各个节点上”，具体还包括步骤：

开启内部DNS实现service发现；

通过kubectl并配置连接到集群；

根据yml指令将爬虫部署在多个Node节点的多个最小的调度单元Pod上；

通过Pod控制器控制爬虫的规模。

10.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：所述“构建自动化部署流程”，具体还包括步骤：

配置自动化部署流程，或预设触发条件，当达到触发条件时触发自动部署。