[发明专利]大规模输变电设备监测数据流的快速异常检测方法

权利要求书

1.一种大规模输变电设备监测数据流的快速异常检测方法,其特征在于，该方法借助使用DBScan算法对历史数据进行聚类和类别标记，并将标记后的样本发送至SparkStreaming集群，用于实时增量聚类；而前置机接收各种终端发送过来的数据流，并将数据流推送到Spark Steaming集群处理，在Spark Steaming集群上完成实时特征提取及归一化处理；然后进行实时聚类，以完成对新样本类别的判断。

2.根据权利要求1所述的一种大规模输变电设备监测数据流的快速异常检测方法，其特征在于，包含以下几个步骤：

(1)前置机接收各种终端发送过来的数据流，并将数据流推送到Spark Steaming集群处理，利用StreamingContext的socketTextStream方法，在服务器指定端口接收数据流，并将接收的文本数据流转换为DStreams；

(2)在Spark Steaming集群上，对监测数据进行归一化处理；

(3)使用DBScan算法对历史数据进行聚类和类别标记：

该步骤是在批量计算模式下，使用DBscan算法对历史数据进行聚类，从而形成初始类簇，其为每个类簇进行编号，并对每个数据点使用类簇编号进行标记；

(4)将重新标记和定义后的样本集发送至SparkStreaming平台，并且使用广播方式，将新样本集发送至集群所有数据节点，用于后续的增量聚类；

(5)对实时到达的监测数据，进行数据特征提取和归一化处理，形成可以用于参与增量聚类的数据样本M(m₁,m₂,..m_n)；

(6)对生成的数据样本M(m₁,m₂,..m_n)，在SparkStreaming平台上，执行增量DBScan算法，实时确定样本所属聚类。

3.根据权利要求2所述的一种大规模输变电设备监测数据流的快速异常检测方法,其特征在于，在步骤(2)中，是使用min-max离差标准化方法对原始采样数据data进行线性变换，使结果result映射到[0,1]之间，以消除量纲影响。

4.根据权利要求3所述的一种大规模输变电设备监测数据流的快速异常检测方法,其特征在于，其映射公式为公式(1)；

result=data-datamindatamax-datamin---(1)]]>

公式(1)中，datamax为样本数据最大值，datamin为样本数据最小值。在有新数据加入时，会实时更新datamax和datamin。

5.根据权利要求2所述的一种大规模输变电设备监测数据流的快速异常检测方法,其特征在于，在步骤(3)中，是使用三元组的格式重新定义每个数据样本，其公式为：

X＝<(x₁,x₂,..x_n),y,z>(2)

其中，公式(2)中，(x₁,x₂,..x_n)为n维采样值，y为采样点所属类簇编号，z为数据点的类型，包括核心点、边缘点和异常点3种类型。