[发明专利]一种分布式微采集系统及其方法

说明书

本发明公开了一种分布式微采集系统及其方法，该系统包括：采集客户端，采集客户端通过数据采集点获取数据，并对获取的数据进行封装发送；数据处理器，对获取所述采集客户端的数据进行分析处理并将结果发送到消息队列；消息队列，用于协调所述采集客户端与所述数据处理器之间的数据解析、存储及分发工作；注册中心，采集并保存所述采集客户端的信息，形成队列信息供服务；以及采集服务器，用于获取所述注册中心的数据处理任务，执行处理任务，将处理结果分配到采集客户端进行应用处理。本发明的系统可以在短时间内对大批量的POE设备进行性能采集，数据的准确性高，服务器成本低，且可根据设备的增加添加采集客户端，降低了运营成本。

技术领域

本发明涉及分布式数据采集技术领域，特别涉及一种分布式微采集系统及其方法。

背景技术

随着社会进步，科学发展，人们在生活中所见所用的计算机设备越来越多，现有的POE设备的分布式微采集系统，大都采集目标单一，难以支持多家厂家生产的POE设备，若要分布式微采集系统采集其它设备需做程序更改。另外目前采用的集成采集技术复杂未实现采集服务器的集群，当设备量大时，采集任务过多，对服务器资源占用高，采集周期就会很长，如果采集服务器一旦出现问题其服务将不可用，对采集客户端有限定。

发明内容

本发明的目的在于提供一种分布式微采集系统，将采集功能拆分成单独的采集程序，让采集程序仅做采集相关的工作，降低了复杂度，采用多线程执行，处理能力较快，采集客户端可按需设置，节约各项成本。

为实现上述目的，本发明提供了一种分布式微采集系统，包括：

采集客户端，包含多个数据采集点，所述采集客户端通过数据采集点获数据，并对获取的数据进行封装发送；

数据处理器，对所述采集客户端获取的数据进行分析处理并将结果发送到消息队列，同时所述数据处理器还监听消息队列，并把结果写入到文件中；

所述消息队列用于协调所述采集客户端与所述数据处理器之间的数据解析、存储及分发工作；

注册中心，采集并保存所述采集客户端的信息，形成队列信息供服务；

以及采集服务器，用于获取所述注册中心的数据处理任务，执行处理任务，将处理结果分配到采集客户端进行应用处理。

优选地，上述技术方案中，所述采集客户端，其接收采集服务器发送过来的待采集设备的参数数据，所述采集客户端通过多线程方式获取待采集设备的参数数据后，将参数数据封装成指定格式的字符串，通过队列的方式，发送到指定的消息队列；

其中，所述参数数据至少包括设备的IP地址、MAC地址及采集序列号。

优选地，上述技术方案中，所述数据处理器通过NIO方式就把采集结果写入到指定文件。

优选地，上述技术方案中，所述数据处理器中设置有查询数据库和参数设置数据库；其中，所述参数设置数据库为可提供结果处理参数设置服务的Resultprocess，所述查询数据库为可提供设备产查询服务的Dataprocess。

优选地，上述技术方案中，所述采集服务器，通过Dubbo分布式框架来获取注册中心的数据处理服务，从而获取待采集设备列表，然后根据配置的批量操作数，将待采集设备的采集任务分批交给注册中心中注册的采集客户端中应用处理，同时调用参数设置数据库服务传递所需参数到查询数据库中应用。

本发明的另一个目的在于提供一种分布式微采集系统的采集方法，所述方法包括如下步骤：

步骤S001，启动系统；

步骤S002，系统启动后采集服务器根据配置文件周期从查询数据库中查询待采集设备列表，获取待采集设备的IP地址、MAC地址以及上下线状态，并保存；