[发明专利]基于Docker的数据采集方法、装置及计算机设备、存储介质

权利要求书

1.一种基于Docker的数据采集方法，其特征在于，包括：

获取数据采集任务，根据所述数据采集任务向至少一个云服务器发送爬取程序容器的镜像；

根据所述爬取程序容器的镜像在每个所述云服务器中生成至少一个爬取程序容器，所述爬取程序容器中运行爬取程序成为爬取节点；

将所述数据采集任务发送至所述爬取节点中，并通过所述爬取节点对所述数据采集任务执行数据采集操作。

2.根据权利要求1所述的基于Docker的数据采集方法，其特征在于，在所述通过所述爬取节点对所述数据采集任务执行数据采集操作的步骤之后，所述方法还包括：

实时获取新的数据采集任务，根据所述新的数据采集任务和当前正在进行数据采集的数据采集任务实时调整所述爬取节点的数量。

3.根据权利要求1或2所述的基于Docker的数据采集方法，其特征在于，在所述根据所述爬取程序容器的镜像在每个所述云服务器中生成至少一个爬取程序容器的步骤之后，所述方法还包括：

生成容器挂载目录；

获取容器配置文件并将所述容器配置文件存储至所述挂载目录中；

将所述容器配置文件发送至所述爬取程序容器中，对所述爬取节点的参数进行动态调整。

4.根据权利要求3所述的基于Docker的数据采集方法，其特征在于，在所述通过所述爬取节点对所述数据采集任务执行数据采集操作的步骤之后，所述方法还包括：

当任意一个所述爬取节点执行数据采集操作异常时，在至少一个所述云服务器中生成至少一个新的爬取节点，通过所述新的爬取节点接替异常的爬取节点执行数据采集操作。

5.根据权利要求4所述的基于Docker的数据采集方法，其特征在于，在所述根据所述爬取程序容器的镜像在每个所述云服务器中生成至少一个爬取程序容器的步骤之前，所述方法还包括：

获取与所述数据采集任务相关联的采集配置信息，使所述爬取节点根据所述采集配置信息执行数据采集操作，其中所述采集配置信息包括采集数据的时间点或者时间间隔。

6.根据权利要求4所述的基于Docker的数据采集方法，其特征在于，当通过所述爬取节点对所述数据采集任务执行数据采集操作时，所述方法还包括：

对所述数据采集任务中已完成数据采集的URL进行标记，并将标记信息分发至所述爬取程序容器中，使所述爬取节点在采集数据的过程中根据所述标记信息跳过与所述标记信息相对应的URL的数据采集。

7.根据权利要求1或2所述的基于Docker的数据采集方法，其特征在于，在所述获取数据采集任务的步骤之前，所述方法还包括：

确认所述云服务器是否已经配置Docker环境；

其中，当所述云服务器中未配置Docker环境时，向所述云服务器发送Docker镜像或者脚本配置文件，使所述云服务器根据所述Docker镜像或者所述脚本配置文件完成Docker环境的配置。

8.一种基于Docker的数据采集装置，其特征在于，包括：

任务采集模块，用于获取数据采集任务，根据所述数据采集任务向至少一个云服务器发送爬取程序容器的镜像；

节点生成模块，用于根据所述爬取程序容器的镜像在每个所述云服务器中生成至少一个爬取程序容器，所述爬取程序容器中运行爬取程序成为爬取节点；

数据采集模块，用于将所述数据采集任务发送至所述爬取节点中，并通过所述爬取节点对所述数据采集任务执行数据采集操作。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至7中任一项所述的基于Docker的数据采集方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被至少一个处理器执行时实现如权利要求1至7中任一项权利要求所述的基于Docker的数据采集方法的步骤。