[发明专利]基于top‑k(σ)算法的异常数据检测方法

说明书

技术领域

本发明涉及一种无线传感器网络异常数据检测方法，具体是涉及一种基于top-k(σ)算法的无线传感器网络异常数据检测方法。

背景技术

在真实的生活环境中存在很多物理现象(比如温度、湿度、大气压力等)都需要持续地被监测。无线传感器网络作为一种非常重要的数据来源，其采集的数据非常容易受到各种噪声来源的影响，比如节点软硬件故障，节点通信时遇到的环境噪声。这些噪声会严重影响传感器的读数，以及数据的分布情况，导致传感器产生不精确的或不正确的数据。因此，设计一种有效的数据流分析处理方法是近年来无线传感器网络异常检测研究的重点。

异常检测技术在各个领域中都是一个深入研究的问题，无线传感器网路独特的特点以及严格的约束条件使得该问题的研究更具有挑战性。针对无线传感器网路中的异常数据检测问题，目前已经提出过很多种方法，这些方法可以分为基于分布的、基于深度的、基于聚类的、基于距离的以及基于密度的方法。此外，按照传感器网络体系机构异常检测技术又可以集中分为集中式的和分布式的。

Shaikh S A等人提出的基于top-k算法在数据挖掘等领域中具有广泛的应用，该算法主要是通过构造构造数据列表，将列表中的某列按数据特征进行升序排列，从而进行异常数据的判断，该方法的优点是根据构造的数据列表可以直观地识别异常数据点分布的区域及数目，且该方法在无线传感器网络异常数据检测应用中尚未见到。但是，由于目前大规模无线传感器网络数据异常值的出现并无特定规律，如果传感器采集到的无线传感网络数据的异常值持续、频繁出现，或者异常值在正常值周围分布比较均匀时，基于top-k算法的无线传感器网络异常检测方法则不能有效地检测出异常值。

因此，需要提出一种新型的无线传感器网络异常值检测方法。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种高检测率和低误报率的基于top-k(σ)算法的异常数据检测方法。

技术方案：为实现上述目的，本发明的提供的一种基于top-k(σ)算法的异常数据检测方法，包括以下步骤：

S1：将传感器节点采集的数据进行数据标准化处理；

S2：根据处理后的数据的分布规律构造数据单元格，该数据单元格包括若干个小数据单元格，小数据单元格表示为C_i×j，其中i表示小数据单元格的行号以及j表示小数据单元格的列号；

S3：构造PC列表，所述PC列表包括四列数据，第一列数据表示小数据单元格C_i×j的位置，第二列数据表示该小数据单元格C_i×j中数据点的个数，第二列数据用N(C)表示，第三列数据N_D(C)表示该小数据单元格C_i×j的D领域内的数据点的个数，第三列数据用N_D(C)表示，第四列数据RD表示分布数据集到中心数据集的距离，第四列数据用RD表示；

S4：将小数据单元格C_i×j中数据点的个数填入所述PC列表中与该小数据单元格C_i×j对应的第二列数据中，将小数据单元格C_i×j的D领域内的数据点的个数填入所述PC列表中与该小数据单元格C_i×j对应的第三列数据中，将分布数据集到中心数据集的距离填入所述PC列表中与该小数据单元格C_i×j对应的第四列数据中。

S5：将所述PC列表中的第三列数据进行升序排列；

S6：将排列后的PC列表中位于上层位置的对应的小数据单元格C_i×j中的数据点作为潜在异常数据点；

S7：将所述潜在异常数据点对应的小数据单元格C_i×j对应的第四列数据分别与阈值σ进行比较，如果第四列数据大于阈值σ，则与该第四列数据对应的小数据单元格C_i×j内的数据点为异常数据点，否则与该第四列数据对应的小数据单元格C_i×j内的数据点为正常数据点。

进一步地，步骤S3中所述小数据单元格C_i×j的D领域表示以点o为中心，D为半径的领域，其中所述点o位于所述小数据单元格C_i×j的正中心，所述半径D为正数。

进一步地，步骤S3中计算分布数据集到中心数据集的距离包括以下步骤：