[发明专利]大规模输变电设备监测数据流的快速异常检测方法

说明书

技术领域

本发明涉及大规模输变电设备监测领域，尤指一种大规模输变电设备监测数据流的快速异常检测方法。

背景技术

伴随智能电网建设的推进，电力系统的多个环节中都面临着大规模数据流快速分析的挑战。尤其在输变电设备在线监测系统中，随着监测范围扩大和深度的不断加强，众多量测和传感装置采集的大量多源异构监测数据以数据流的形式不断发送到监测中心，形成大规模监测数据流，而监测中心需要实时快速地处理这些流数据。

当前输变电设备检测数据分析的模式仍是以静态离线数据分析为主，这种方式存在与生产运行系统结合不紧密，不能快速反映系统运行状态和及时发现异常现象等问题。在很多场景下，输变电设备状态监测系统期望对实时到达的数据进行同步处理，从而有利于更快速发现和报警各种异常问题，快速诊断设备运行状况，提升系统运行的安全性。

但是，由于输变电设备状态监测普遍采用省电力公司集中部署方式，如果实时对到达的数据进行同步处理，需要面对以千万计的监测装置以固定的周期进行数据采集和各种异常上传任务，将面临大规模数据流的汇集和快速处理的挑战。

而应对大规模数据流的处理的挑战，传统处理方式显然无法达到所需要的处理能力，因而需要借助大数据处理技术。而在众多的现有的大数据处理技术中，流式计算技术是能够随着实时到达的数据，借助内存或内存集群进行快速分析，具有更好的实时性和处理速度。发明人认为流式计算技术如果与生产系统相结合，就能快速反映生产系统的运行状态，因此，可以用于处理用大规模输变电设备监测数据流。而传统以批处理为主的离线数据分析方式，由于性能和计算模式的问题，很难应对这种在线数据流的快速分析。

当前主流的流式计算平台包括Storm、Spark Steaming、Flink、阿里云流计算等，这些平台均提供了分布式数据流处理框架。借助这些成熟的流式计算平台，可以使开发人员更多地关注业务处理逻辑，并拥有更好的可靠性和扩展性。其中Spark Steaming是Spark针对数据流处理的扩展，适合处理高可扩展性、高吞吐率和容错机制的实时数据流。Spark Steaming目前广泛应用于多种实时数据流处理领域，包括点击流分析、商品推荐等，因此，发明人着手研发使用Spark Steaming处理大规模输变电设备监测数据流的方法。

发明内容

为解决上述技术问题，本发明目的在于提供一种能将流式计算技术与生产系统相结合，能快速反映生产系统的运行状态，以用于处理用大规模输变电设备监测数据流的大规模输变电设备监测数据流的快速异常检测方法。

为实现上述目的，本发明提供了一种大规模输变电设备监测数据流的快速异常检测方法，该方法借助使用DBScan算法对历史数据进行聚类和类别标记，并将标记后的样本发送至SparkStreaming集群，用于实时增量聚类；而前置机接收各种终端发送过来的数据流，并将数据流推送到SparkSteaming集群处理，在Spark Steaming集群上完成实时特征提取及归一化处理；然后进行实时聚类，以完成对新样本类别的判断。

其中，大规模输变电设备监测数据流的快速异常检测方法具体包含以下几个步骤：

(1)前置机接收各种终端发送过来的数据流，并将数据流推送到Spark Steaming集群处理，利用StreamingContext的socketTextStream方法，在服务器指定端口接收数据流，并将接收的文本数据流转换为DStreams；

(2)在Spark Steaming集群上，对监测数据进行归一化处理；

(3)使用DBScan算法对历史数据进行聚类和类别标记：

该步骤是在批量计算模式下，使用DBscan算法对历史数据进行聚类，从而形成初始类簇，其为每个类簇进行编号，并对每个数据点使用类簇编号进行标记；

(4)将重新标记和定义后的样本集发送至SparkStreaming平台，并且使用广播方式，将新样本集发送至集群所有数据节点，用于后续的增量聚类；

(5)对实时到达的监测数据，进行数据特征提取和归一化处理，形成可以用于参与增量聚类的数据样本M(m₁,m2,..mn)；

(6)对生成的数据样本M(m₁,m2,..mn)，在SparkStreaming平台上，执行增量DBScan算法，实时确定样本所属聚类。