[发明专利]一种基于流处理的车间现场数据实时监测与异常检测方法

权利要求书

1.一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：

S1：由车间生产运行数据采集设备采集数据并生成数据流；

S2：通过在分布式服务器管理系统Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；

S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；

S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；

S5：单独在Bolt中进行数据预处理；

S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；

S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；

S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中；

步骤S6中所述基于滑动时间窗的运行数据统计和异常检测的具体步骤和单元包括：

步骤一：滑动窗口处理单元：首先设置滑动窗口所需的发送数据的时间和参数，参数主要包括单元窗口长度和滑动窗口长度；

步骤二：字段拆分处理单元：将接收的运行数据按照监测信号的种类进行拆分，将同一类的运行数据下发至下一级数据处理单元；

步骤三：数据统计处理单元：在单元时间窗口内实现数据的最值、平均值这些数据指标的计算，并将计算结果发给下一级数据处理单元进行整个时间窗口的数据聚合；

步骤四： 频数计算处理单元：主要为实现需要进行频数统计的运行数据服务；

步骤五：阈值判断处理单元：根据各个监测数据的类型，结合数据特点以及相关研究，制定阈值判断的策略；

步骤六：汇总计算处理单元：在此处理单元上合并统计所有基本时间窗口的数据，使用全局汇总的数据聚合方式，即将所有的数据都发送到同一个处理单元进行最终的的计算。

2.根据权利要求1所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：步骤S5中的所述数据预处理的步骤包括数据清洗、数据格式化和判断数据是否需要存储。

3.根据权利要求1所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：步骤S6中所述运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率这些指标，所述异常检测主要包括实时临界检测和基于滑动时间窗的异常监测。

4.根据权利要求2所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：所述数据清洗的具体方式为：首先检查数据是否合格，如果合格，继续进行后续数据处理， 如果数据不合格，则执行数据清理和过滤操作，从监测数据中删除具有空值、离群值和明显错误信息的数据。

5.根据权利要求2所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：所述数据格式化包括数据标定和删除冗余值，具体方式为：对数据进行校准和格式化，将模拟值转换为真实值，同时删除传感器和采集系统存储的数据中的冗余信息，如数据标题、标头和其它字段。

6.根据权利要求2所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：所述判断数据是否需要存储的判断依据是数据是否需要先进行处理后再存储在数据库。