[发明专利]一种基于流式处理的工业传感器数据处理方法

说明书

本发明提供一种基于流式处理的工业传感器数据处理方法。本发明通过获取传感器数据到数据采集层；在数据采集层通过建立协议转换层适配多种型号，多种协议的传感器；在数据处理层通过kafka消息队列接受数据，并且转发至数据处理引擎；在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库；数据处理引擎根据实时处理后的数据直接发送到时序数据库存储，同时把数据发回消息队列集群，用于其他系统二次消费使用；将配置信息保存在关系型数据库。本发明进行数据流处理时，能够持续稳定的支撑巨大的数据流量，不降低整个系统的性能，提高运行效率，满足传感器数据处理的实时性的要求，降低成本。

技术领域

本发明涉及数据处理领域，具体涉及一种基于流式处理的工业传感器数据处理方法。

背景技术

随着智能工厂的兴起，工业传感器及物联网的快速发展，对于传感器信息和数据的采集类型和采集手段的日益丰富，导致需要处理的数据量和计算量呈爆炸增长，基于以往的物联网解决方案渐渐无法满足人们日益增长的需求。

为了适应需要处理的数据量和计算量呈爆炸增长这一发展变化，数据处理能力就越来越收到重视，但是现有的数据分析的速度和效率较低，各类传感器协议、数据频率、数据内容、数据量不一致，常规数据处理在针对简单逻辑处理时，采用硬件运算解决，效率高，但成本也高，复杂逻辑基本无法实现，也受限于硬件及环境问题，缺乏灵活性及可扩展性，并且模拟调试麻烦，无法实时动态调整系统技术参数，全凭人工经验判断，有的还存在存在单点故障。因此，亟需一种基于流式处理的工业传感器数据处理方法，以解决上述问题。

发明内容

本发明的目的在于提供一种基于流式处理的工业传感器数据处理方法，以解决现有的数据分析的速度和效率较低，各类传感器协议、数据频率、数据内容、数据量不一致，常规数据处理在针对简单逻辑处理时，采用硬件运算解决，效率高，但成本也高，复杂逻辑基本无法实现，也受限于硬件及环境问题，缺乏灵活性及可扩展性，并且模拟调试麻烦，无法实时动态调整系统技术参数，全凭人工经验判断，有的还存在存在单点故障的问题。

本发明提供一种基于流式处理的工业传感器数据处理方法，包括：

获取传感器数据到数据采集层；

在数据采集层通过建立协议转换层适配多种型号，多种协议的传感器；

在数据处理层通过kafka消息队列接受数据，并且转发至数据处理引擎；

在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库；

数据处理引擎根据实时处理后的数据直接发送到时序数据库存储，同时把数据发回消息队列集群，用于其他系统二次消费使用；

将配置信息保存在关系型数据库。

进一步地，所述数据处理引擎、时序数据库、关系型数据库通过控制配置集群控制。

进一步地，所述传感器包括：加速度传感器、温度传感器、湿度传感器、流量传感器、压力传感器、XYZ三向传感器。

进一步地，获取传感器数据到数据采集层的步骤中，所述传感器数据从各类采集器通过无线或者有线网络将数据传输到数据采集层。

进一步地，在数据处理引擎根据相关设计的数据模型计算并且实时返回结果，同时会把原数据保存在时序数据库的步骤中，通过数据处理引擎中引入计算和处理规则，将传感器数据实时处理，所述将传感器数据实时处理包括过滤异常值和增益放大倍数，并将结果保存在时序数据库。

进一步地，在当前系统资源趋向或者已经饱和的情况下，所述数据处理引擎可以在任意时间添加工作节点，不需要停机停服。

进一步地，将配置信息保存在关系型数据库的步骤中，所述配置信息包括：流程控制所需的本身节点信息、用于通信的上下游节点信息、分支流程信息、本节点对应数据处理模型、预警规则。