[发明专利]数据采集方法、装置、存储介质及处理器

说明书

本发明实施例提供一种数据采集方法、装置、存储介质及处理器，属于数据采集技术领域。数据采集方法通过Zookeeper集群实时获取各个数采服务器的状态信息；根据数采服务器的状态信息，采用调度服务程序生成调度指令，并发送调度指令到Zookeeper集群；通过Zookeeper集群将调度指令发送至各个数采服务器，以使各个数采服务器分别根据调度指令采集数据；调度服务程序用于在分布式环境中为数采服务器分配采集任务。可以有效分配每个数采服务器采集数据，从而保证数采服务器不会出现重复采集的情况，提高了数据采集系统的性能，避免了数据采集系统性能的浪费，保证数据采集系统运行的稳定性。

技术领域

本发明涉及数据采集技术领域，具体地涉及一种数据采集方法、一种数据采集装置、一种机器可读存储介质及一种处理器。

背景技术

基于IOT(物联网)分布式架构和标准Web技术的新一代SCADA(数据采集与监视控制系统)具备客户端免安装，直接在浏览器上轻松访问系统的特点。但是Web应用前端运行环境的复杂性和多样性，导致Web应用稳定性、可用性和高性能很难保证。Web系统页面的加载速度，直接影响着用户的体验，影响着企业的安全生产运行和经济效益。所以，对基于IOT(物联网)分布式架构和标准Web技术的新一代SCADA的性能进行优化，加快其页面的加载速度，保证系统运行的稳定性、可用性具有十分重要的意义。

在分布式架构中，对于无状态WEB服务的性能优化，可通过负载均衡的方式，将无状态服务部署多份配置负载策略，从而提升无状态服务的整体性能；而对于有状态WEB服务，如果仅是部署多个服务实例，多个服务实例进程只能简单的重复执行相同的任务，整个系统的性能不但没有提升反而造成了性能浪费。现有技术中，采用部署多套数采服务器对多个微服务数据进行了重复采集的方法，但是整个系统的性能降低。

发明内容

本发明实施例的目的是提供一种数据采集方法、一种数据采集装置、一种机器可读存储介质及一种处理器，该数据采集方法可以提高数据采集系统的性能。

为了实现上述目的，本申请第一方面提供一种数据采集方法，包括：

通过Zookeeper集群实时获取各个数采服务器的状态信息；

根据所述数采服务器的状态信息，采用调度服务程序生成调度指令，并发送所述调度指令到Zookeeper集群；

通过所述Zookeeper集群将所述调度指令发送至各个数采服务器，以使所述各个数采服务器分别根据所述调度指令采集数据；

其中，所述调度服务程序用于在分布式环境中为数采服务器分配采集任务。

在本申请实施例中，所述调度服务程序包括多个实例；

所述根据所述数采服务器的状态信息，采用调度服务程序生成调度指令，包括：

采用Zookeeper集群对所述多个实例进行选举，得到leader实例；

根据所述数采服务器的状态信息，执行所述leader实例，生成调度指令。

在本申请实施例中，在所述各个数采服务器分别根据所述调度指令采集数据之后，还包括：

获取采集到的数据；

将所述采集到的数据按照预置的配置规则进行业务转化，生成多个业务；

确定所述多个业务是否存在处理顺序要求；

在确定所述多个业务不存在处理顺序要求的情况下，对所述多个业务采用多线程并行处理的方式进行处理；

在确定所述多个业务存在处理顺序要求的情况下，对所述采集到的数据采用串行任务并行化执行的方式进行处理。