[发明专利]平台化的数据采集系统

摘要

本发明提出了一种平台化的数据采集系统，包括：所述设备通信模块从每个所述设备中抓取设备状态数据；所述消息队列模块内置具有预设格式和优先级的消息链表，接收来自所述设备状态数据，进行数据缓存和数据转发；所述数据采集器从所述消息队列模块中的数据，从无状态的数据整理并转义，生成有语义的数据，存储到数据库中；所述数据处理模块根据业务需求将离散的数据进行整理分类汇总并固化；所述可视化大数据分析模块与所述数据处理模块连接，用接收所述数据处理模块处理后的数据，并根据用户的需求配置展现数据分析报表。本发明采用平台化产品将数据采集系统，进行模块化分离，降低了软件的耦合性，提升了了软件的稳定性。

主权项

1.一种平台化的数据采集系统，其特征在于，包括：设备通信模块、消息队列模块、数据采集器、数据处理服务模块和可视化大数据分析模块，其中，所述设备通信模块用于与各个设备建立通讯，从每个所述设备中抓取设备状态数据，并发送至所述消息队列模块；所述消息队列模块内置具有预设格式和优先级的消息链表，用于接收来自所述设备状态数据，并存储至所述消息链表中，进行数据缓存和数据转发；所述数据采集器与所述消息队列模块连接，用于从所述消息队列模块中的数据，从无状态的数据整理并转义，生成有语义的数据，存储到数据库中，其中，所述数据采集器采用基于Java开发语言开发的可执行程序，实现数据转义的功能就是通过Java的脚本引擎处理已经配置好的Javascript脚本实现输入原始的无状态的数据当做参数，然后返回有语义的数据；所述无状态的数据为直接从设备上采集的原始的设备状态数据，没有经过加工处理的数据；所述有语义的数据为对所述无状态的数据以预设规则运算生成的有语义信息的数据，所述数据处理模块与所述数据采集器和所述数据库连接，用于根据业务需求将离散的数据进行整理分类汇总并固化，以提高数据展示性能；所述可视化大数据分析模块与所述数据处理模块连接，用接收所述数据处理模块处理后的数据，并根据用户的需求配置展现数据分析报表。