[发明专利]一种基于流处理的车间现场数据实时监测与异常检测方法

说明书

本发明涉及车间现场数据监测技术领域，具体涉及一种基于流处理的车间现场数据实时监测与异常检测方法，包括以下步骤：首先由车间生产运行数据采集设备采集数据并生成数据流，然后通过Kafka分布式消息队列进行数据缓存，传递至下一级Bolt单独进行数据预处理，再进行基于滑动时间窗的运行数据统计和异常检测，然后根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对；本发明通过对数据流进行数据预处理，排除了生产现场运行数据的空值，离群值等明显错误，设计了一种基于滑动时间窗的运行数据统计与异常检测技术，既保证运行数据处理的时效性，也在一定程度上保证了相连数据的关联性。

技术领域

本发明涉及车间现场数据监测技术领域，具体涉及一种基于流处理的车间现场数据实时监测与异常检测方法。

背景技术

工业制造业随着中国经济发展快速崛起，其制造能力的发展直接影响国家经济发展和社会进步。由于生产车间现场环境的复杂性和产品信息的多样性，导致了企业对资源配置的不合理，造成材料浪费和经济损失。

近年来，随着传感检测技术的发展和物联网设备的普及，车间生产现场运行数据呈现“指数级”的上升，对于车间现场来讲，导致监测系统实时性低，可扩展性不高，容易出现延时甚至奔溃，数据总量和价值随时间的推移迅速增加和流失，挖掘其价值超出了传统数据处理的计算能力，无法满足对车间生产的实时监测管理需求，给现有基于生产车间现场运行数据的异常状态监测系统带来海量运行数据流实时处理、海量数据存储、数据实时可视化分析等挑战。

基于此，本发明设计了一种基于流处理的车间现场数据实时监测与异常检测方法，以解决上述问题。

发明内容

本发明的目的在于提供一种基于流处理的车间现场数据实时监测与异常检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：

S1：由车间生产运行数据采集设备采集数据并生成数据流；

S2：通过在分布式服务器管理系统Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；

S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；

S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；

S5：单独在Bolt中进行数据预处理；

S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；

S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；

S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中。

优选的，步骤S5中的数据预处理的步骤包括数据清洗、数据格式化和判断数据是否需要存储。

优选的，步骤S6中运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率这些指标，异常检测主要包括实时临界检测和基于滑动时间窗的异常监测。