[发明专利]一种面向水文传感器流数据的异常检测方法

说明书

本发明公开一种面向水文传感器流数据的异常检测方法，在实施异常检测之前首先接收传感器时间序列数据，经过数据清洗后通过Kafka模拟真实情况下传感器数据的传输方式，将数据读入Apache Flink平台，首先对Kafka队列内数据进行反序列化，而后通过Flink提供的水印机制保证消费过程中的数据一致性，最后进行自回归‑孤立森林联合模型的异常检测。本发明使得水文传感器数据的异常检测精度得到很大提高，同时缩短了检测时间。

技术领域

本发明涉及一种面向水文传感器流数据的异常检测方法，属于数据挖掘与水文信息处理技术领域。

背景技术

随着物联网、传感器技术的迅猛发展，河道内部署的用于感知水文信息的传感器数量也随着大量增加。由于易受到网络拥塞、设备故障或人为的影响，来自水文传感器的数据往往包含异常值。为了处理传感器数据的异常，研究人员已提出了一系列模型与方法。然而，现有的方法或算法通常是基于距离或分类的思想，具有较高的时间复杂度，不适用于处理大规模的传感器流数据。

孤立森林(Isolation Forest)算法基于隔离思想，利用二叉树的数据结构来划分特征子空间。这种结构仅需要数据对比而避免了大量的距离类型的数值计算，在对单个数据点进行判定时能够达到log(n)的时间复杂度。因此，它逐渐引起了学术界和工业界的广泛关注。然而，现有的孤立森林及其优化算法的研究仍然存在以下不足：(1)很少有人研究它在水文传感器领域的异常检测中的应用，大量的传感器产生海量的数据，异常检测算法的应用没有考虑与大数据平台相结合，这与现实环境相悖。(2)一般来说，异常数据总是占很少一部分，但检测所有数据仍需要相对长的时间。(3)算法本身有一定的随机性。树的质量不均匀导致检测结果的偏差相对较大。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种面向水文传感器流数据的异常检测方法。

技术方案：一种面向水文传感器流数据的异常检测方法，在实施异常检测之前首先接收传感器时间序列数据，经过数据清洗后通过Kafka模拟真实情况下传感器数据的传输方式，将数据读入Apache Flink平台，首先对Kafka队列内数据进行反序列化，而后通过Flink提供的水印机制保证消费过程中的数据一致性，最后进行自回归-孤立森林联合模型的异常检测。

自回归-孤立森林联合模型的异常检测是指，使用自回归预测模型对传感器数据进行预测，通过预测结果与观测值之间的差异程度来决定是否要进入孤立森林检测模型。

通过Kafka模拟真实情况下传感器数据的传输方式，将数据读入Apache Flink平台，包括如下实现步骤：

步骤13：选用和步骤11中具有相同规格的云服务器集群，配置标准不得低于Kafka和Flink能够运行的最低配置。

步骤11：在云服务器上安装Kafka程序，一台服务器为Kafka主机，两台服务器为Kafka从机。

步骤12：将流式计算平台Flink安装至云服务器，配置Flink执行环境为一台主机负责消息处理和计算任务，两台从机负责计算任务。

步骤14：基于Kafka，实现对不同Flink节点的连接和传感器数据发送，传感器数据发送是指通过Kafka向各个Flink节点插入数据。算法步骤如下：

输入：传感器数据，Kafka主题，Kafka分区，Flink连接信息

输出：Kafka流数据

步骤141：判断Flink节点类型(主机或从机)，并按照集群内网IP地址与端口信息与节点进行连接；

步骤142：当与Flink连接已确认时，根据查询语言从待检测传感器数据中读取数据并按照规定格式输出，即作为生产者生产的待检测传感器数据；