[发明专利]数据采集方法、装置、存储介质及处理器

权利要求书

1.一种数据采集方法，其特征在于，包括：

通过Zookeeper集群实时获取各个数采服务器的状态信息；

根据所述数采服务器的状态信息，采用调度服务程序生成调度指令，并发送所述调度指令到Zookeeper集群；

通过所述Zookeeper集群将所述调度指令发送至各个数采服务器，以使所述各个数采服务器分别根据所述调度指令采集数据；

其中，所述调度服务程序用于在分布式环境中为数采服务器分配采集任务。

2.根据权利要求1所述的数据采集方法，其特征在于，所述调度服务程序包括多个实例；

所述根据所述数采服务器的状态信息，采用调度服务程序生成调度指令，包括：

采用Zookeeper集群对所述多个实例进行选举，得到leader实例；

根据所述数采服务器的状态信息，执行所述leader实例，生成调度指令。

3.根据权利要求1所述的数据采集方法，其特征在于，在所述各个数采服务器分别根据所述调度指令采集数据之后，还包括：

获取采集到的数据；

将所述采集到的数据按照预置的配置规则进行业务转化，生成多个业务；

确定所述多个业务是否存在处理顺序要求；

在确定所述多个业务不存在处理顺序要求的情况下，对所述多个业务采用多线程并行处理的方式进行处理；

在确定所述多个业务存在处理顺序要求的情况下，对所述采集到的数据采用串行任务并行化执行的方式进行处理。

4.根据权利要求3所述的数据采集方法，其特征在于，在对所述多个业务采用多线程并行处理的方式进行处理的过程中，每一个业务的处理过程包括IO密集型的处理过程，将所述IO密集型的处理过程采用队列的方式进行处理。

5.根据权利要求3所述的数据采集方法，其特征在于，所述对所述采集到的数据采用串行任务并行化执行的方式进行处理，包括：

构建串行任务并行化执行的处理架构模型；

将所述采集到的数据依次输入至所述处理架构模型中，以实现对所述采集到的数据采用串行任务并行化执行的方式进行处理。

6.根据权利要求5所述的数据采集方法，其特征在于，所述构建串行任务并行化执行的处理架构模型，包括：

将处理过程按照顺序依次划分为多个任务阶段，所述多个任务阶段依次包括配置加载任务阶段、数据类型转换任务阶段、量程转换任务阶段、零漂任务阶段、变发任务阶段、人工置数任务阶段和超时重发任务阶段；

所述配置加载任务阶段、数据类型转换任务阶段、量程转换任务阶段、零漂任务阶段、变发任务阶段、人工置数任务阶段和超时重发任务阶段分别采用队列处理的方式，以构建得到串行任务并行化执行的处理架构模型。

7.一种数据采集装置，其特征在于，包括：

获取模块，用于通过Zookeeper集群实时获取各个数采服务器的状态信息；

调度模块，用于根据所述数采服务器的状态信息，采用调度服务程序生成调度指令，并发送所述调度指令到Zookeeper集群；其中，所述调度服务

程序用于在分布式环境中为数采服务器分配采集任务；

采集模块，用于通过所述Zookeeper集群将所述调度指令发送至各个数采服务器，以使所述各个数采服务器分别根据所述调度指令采集数据。

8.根据权利要求7所述的数据采集装置，其特征在于，所述调度服务程序包括多个实例；

所述调度模块包括：

选举单元，用于采用Zookeeper集群对所述多个实例进行选举，得到leader实例；

指令生成单元，用于根据所述数采服务器的状态信息，执行所述leader实例，生成调度指令。

9.一种处理器，其特征在于，被配置成执行根据权利要求1至6中任一项所述的数据采集方法。

10.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至6中任一项所述的数据采集方法。