[发明专利]用于对从系统取得的测量值进行评级的方法和系统

说明书

本发明涉及一种用于对从可处于无错误状态或者错误状态的系统(S)取得的测量值进行评级的方法，其中系统(S)具有至少一个通信网络、通信系统的网络组件和/或通信网络的服务，该方法具有以下步骤，这些步骤优选地采用以下次序：形成来自系统(S)的未标记测量值v的集合(V)；通过使用基于随机的方法对来自集合(V)的测量值进行移除和/或加权来为学习系统(L)形成包含测量值(v')的经修改的学习集合(V')；由学习系统(L)从经修改的学习集合(V')形成用于对来自系统(S)的测量值进行评级的模型(M)；以及，通过评级系统(B)使用模型(M)对来自系统(S)的测量值进行评级。此外，本发明还涉及一种用于对从可处于无错误状态或者错误状态的系统(S)取得的测量值进行评级的系统，其中系统(S)具有至少一个通信网络、通信系统的网络组件和/或通信网络的服务，该系统具有：用于形成来自系统(S)的未标记测量值v的集合(V)的设备；用于通过使用基于随机的方法对来自集合(V)的测量值进行移除和/或加权来为学习系统(L)形成包含测量值(v')的经修改的学习集合(V')的设备；适用于从经修改的学习集合(V')形成用于对来自系统(S)的测量值进行评级的模型(M)的学习系统(L)；以及，适于使用模型(M)对来自系统(S)的测量值进行评级的评级系统(B)。

本发明涉及用于对从可处于无错误或错误状态的系统S取得的测量值进行评级的方法和系统。该系统包括至少一个通信网络、通信系统的网络组件和/或通信网络的服务。

在检测异常或非正常测量值(即所谓的异常值)的领域中，现有技术包括用于查找异常或非正常测量值的众多方法。查找非正常测量值被称为“异常值检测”或也被称为“异常检测”。

例如，在[1]中，对异常值检测的使用被描述为数据挖掘领域中的主要步骤之一。在[1]中，特别注意被吸引到所使用的估计的稳健性，并且示出了基于距离测量的异常值检测、聚类方法以及空间方法的各种可能性。

在[2]中，异常值检测的含义被讨论为各种应用领域以及科学领域的重要问题。

首先，从现有技术中已知的各异常值检测方法在基本假设和要求方面存在不同。对于异常值检测，一些方法需要潜在分布及其参数，系统S借助这些潜在分布及其参数来生成经测量的值。此外，存在借助“局部异常值概率算法”(LoOP,[3])并结合“局部异常值因子算法”(LOF,[4])或相关的算法来计算概率值的方法。

此外，[5]公开了一种用于基于作为异常值检测的任何期望分数函数的输出的分数值来获得涉及概率值(即在区间[0,1]内的值)的变换的方法。该概率值指示来自集合V的测量值是与潜在测量值集合有关的异常值的概率。这些概率用于构成包括非常可能的异常值的列表。

公开[6]涉及用于进行数据过滤以减少功能和趋势线异常值偏差的系统和方法。

在用于检测异常值的常规方法中，通常使用阈值或极限值。例如，有可能检测当高于或低于这样的阈值或极限值时，测量值可被认为是异常值或正常测量值。

对阈值的使用是不利的，因为这样的阈值必须主要借助参与的测试和评估来检测。此外，集合V中与大部分测量值都偏离非常多但属于正常系统状态S的测量值通过使用阈值将被滤除，而没有可能根据用于确定系统的状态的所分配的概率使其也进入学习集合。

参考

[1]Irad Ben-Gal.Outlier detection(异常值检测),in:Maimon O.andRockach L.(Eds.),“Data Mining and Knowledge Discovery Handbook:A CompleteGuide for Practitioners and Researchers(数据挖掘和知识发现手册：针对实践者和研究者的完全向导)Kluwer Academic Publishers(克鲁维尔学术出版社),2005