[发明专利]一种能够处理重现的概念的检测方法

说明书

本发明公开了一种用于处理数据流中重复概念的技术方案，该方法通过比较不同时间的窗口中的数据分布来检测概念变化，同时利用一个图保存之前出现过的概念，在检测到漂移之后，首先预测图中保存的概念在此次重现的可能性大小，然后依次验证，检验当前是否发生了概念重现，仿真结果表明，本发明所提出的方法能够有效地检测突变漂移和渐变漂移，并能够发现概念重现，有效地提高了分类正确率，该发明可以应用于传感器网络异常检测、信用卡欺诈行为检测、天气预报和垃圾邮件检测等众多实际问题中。

技术领域

本发明属于数据挖掘与机器学习技术领域，涉及一种面向概念漂移环境的数据流分类方法，尤其是提出了提出一种能够处理重现的概念的检测方法，该方案主要实验结果表明能较好地适应概念漂移数据流环境，可以及时并且正确地检测到数据流中的概念漂移及重复概念，有效地提高分类器的分类正确率。该方法可以应用于传感器网络异常检测、信用卡欺诈行为监测、天气预报和垃圾邮件检测等众多实际问题中。

背景技术

数据挖掘的基本问题是处理随时间增长的大量数据，待处理的海量数据都以高速有序的形式到达，此类数据称为数据流。在动态变化和不平稳的环境中，数据分布会随着时间改变，产生概念漂移现象。在这里概念就是指分类问题中输入变量X和目标变量y之间的联合概率。那么概念漂移就是指输入变量和目标变量之间联合概率的变化。如公式(1)所示：

公式(1)定义了时间t₀和t₁之间的概念漂移。其中可能是P(y)发生了改变，也可能是P(X|y)发生了改变。现实生活中有许多关于概念漂移的例子。例如，在垃圾邮件分类问题中，垃圾邮件的发送者为了避免自己发送的邮件被过滤掉，会对邮件中的一些关键字进行修改，从而躲避检测。或者是邮件的接收者对于某一类邮件的态度的转变，某类邮件在某段时间被接收者认定为垃圾邮件，可能过了一段时间之后接收者突然转变对此类邮件的态度，从而变得愿意接收此类邮件。又例如，当预测超市一周的销售额时，往往会根据广告投入和促销活动等因素进行预测，但是建立的预测模型不可能一直都保持较高的预测正确率，因为销售额可能会受假期等因素的影响。影响销售行为的因素会随时出现，因而无法避免。在处理有概念变化的数据时，要注意当数据流中出现变化时模型的自适应问题。概念漂移检测能够及时捕捉到数据流的变化，并在发生变化后更新模型，使分类模型能够保持较高的分类正确率。

概念重现是概念漂移的特殊情况。它是指一个新概念出现在数据流中，然后消失一段时间，之后再次出现的现象。在概念重现的情况下，以前出现过的概念会在将来再次出现，因此旧的分类模型可以用于将来的分类。但是现有的检测概念漂移的文献，大多会忽略这种现象，它们总是把漂移后产生的概念当做是一个新概念，没有考虑这个概念是否在过去出现过。

在数据流的研究领域中，对于概念漂移的处理可分为基于触发的方法和逐渐演化的方法。基于触发的方法利用明确的检测方法来指出概念变化，并根据检测的结果来决定是否更新分类模型。然而逐渐演化的方法不检测变化，这种方法通常会保持一组分类模型，并基于它们的性能定期进行更新。