[发明专利]数据采集方法、装置及存储介质

说明书

本发明提供一种数据采集方法、装置及存储介质，通过调度节点将调度任务发送给总控节点，总控节点接收各数据采集节点发送的运行状态信息，并根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各数据采集节点的运行状态信息，将调度任务分配给数据采集节点，以使数据采集节点执行调度任务。通过总控节点统一管理各数据采集节点，为每一数据采集节点均衡负载，提高数据采集的响应能力与机器资源使用率，且数据采集节点可分布在不同的机房中，充分利用多机房的带宽与多IP地址优势，且支持节点的动态扩容与收缩。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据采集方法、装置及存储介质。

背景技术

数据采集需要依赖的最主要资源是带宽、IP地址、处理器与内存，在硬件资源相对低廉的情况下处理器与内存不会成为限制采集系统规模的瓶颈，真正的瓶颈往往是带宽与IP地址。大规模下载网页等网络内容需要有足够的网络带宽的支持，网站通常对某个IP地址在单位时间内可访问的次数有所限制，因此对网站大批量高时效性采集需要有足够IP地址的支持。

目前开源的分布式采集框架，在使用时基于降低公网带宽以及传输效率的要求，需要将多个采集节点部署在同一个机房的机器内，基于这种部署要求对于拥有多个机房的用户就无法方便地利用多机房的带宽以及多IP地址优势。与此同时如果在一台机器上部署多个采集程序，就无法控制每个采集程序对系统资源的消耗，而在一台机机器上只部署一个采集程序，那么就会带来机器资源使用率不均衡以及资源浪费的问题。

发明内容

本发明提供一种数据采集方法、装置及存储介质，以提高数据采集过程中的资源使用率，实现负载均衡。

本发明的第一方面是提供一种数据采集方法，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：

所述总控节点接收所述调度节点发送的调度任务；

所述总控节点接收各所述数据采集节点发送的运行状态信息；

所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，以使所述数据采集节点执行所述调度任务。

进一步的，所述调度任务包括目标网页以及所述目标网页的调度顺序，所述目标网页以及所述目标网页的调度顺序由所述调度节点根据采集任务及预定调度策略获取。

进一步的，述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，包括：

所述总控节点根据网页域名打散策略、各所述数据采集节点的处理能力信息及运行状态信息，将所述调度任务分配给所述数据采集节点。

进一步的，所述总控节点配置有至少一个备用总控节点，以在所述总控节点出现故障时从所述至少一个备用总控节点中选举出一个备用总控节点以替代所述总控节点。

本发明的第二方面是提供一种数据采集方法，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：

所述数据采集节点获取自身的运行状态信息；

所述数据采集节点将所述运行状态信息发送给所述总控节点，以使所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点；

所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务。

进一步的，所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务，包括：