[发明专利]一种基于特征同构共享描述的多源异构离群点检测方法

说明书

本发明提出了一种基于特征同构共享描述的多源异构离群点检测方法，通过在特征同构空间中统一地检测来自异构数据集的离群点，以避免浪费不同来源之间的互补信息，并提高多源离群点的识别率，能够解决在一个一致的特征同构空间中识别所有类型的多源异构离群点的问题。

技术领域

本发明属于信息技术领域，提出了一种基于特征同构共享描述的多源异构离群点检测方法。

背景技术

随着大数据时代的到来，在诸如欺诈检测、网络入侵、临床诊断、客户关系管理和生物数据分析等众多实际应用领域中，人们愈加关注于异常样本的有效检测问题。显然，离群点检测是数据挖掘领域中的一项重要任务，其应用遍布从欺诈检测到公共健康的许多方面。然而，随着大量多源数据在许多真实场景中的出现，离群点检测的任务变得更加具有挑战性，因为传统的单源离群点检测技术已经不再适用于多源异构数据。

在过去的几十年中，研究人员已经提出了许多离群点检测方法，包括单源和多视角离群点检测方法。

·单源离群点检测(Mono-Source Outlier Detection)

近来，一些研究人员已经研究了许多机器学习方法^[1-4]来处理单源数据中的离群点检测问题。Knorr等人^[1]指出通过识别离群点，便可以在各种实际应用领域中发现意外有价值的知识。此外，他们提出并分析了几种用于发现DB离群点(DB-outliers)的算法。在文献^[2]中，Li提出了一种基于描述的方法来计算点的反向不可达性，以评估该观测值被认定为边界点或离群点的程度。K-近邻(k-Nearest Neighbors，kNN)^[3]方法将给定数据点到其k个最近邻的距离定义为离群点的判定距离。这个距离越大，就越有可能为离群点。Rahmani和Atia^[4]提出了两种随机算法用于两种不同的离群模型，即基于鲁棒主成分分析的稀疏和独立离群点检测模型。

然而，随着大量多源数据在许多真实场景中的出现，离群点检测的任务变得更加具有挑战性，因为传统的单源离群点检测技术已经不再适用于多源异构数据。如图1所示，在单一的语音源中，从马聚类中识别出斑马，即离群点，是异常困难的。然而，根据相对应的图片源的样本分布，可以极其容易的识别出异构离群点。因此，亟待开发出一种有效的针对多源异构数据的离群点检测方法。

·多视角离群点检测(Multi-View Outlier Detection)

为了克服传统的单源方法的缺点，研究人员已经提出几种方法^[5-8]致力于识别多源离群点。Zhao和Fu^[5]研究了多视角离群点检测问题，同时检测两种不同的异常。Janeja和Palanisamy在文献^[6]中提出了一种两步的方法来寻找多个域上的异常点。该技术首先进行单域异常检测，发现每个域中的离群点，然后挖掘域间的关联规则，以发现异常点之间的关系。Li等人^[7]提出了一种多视角离群点检测框架，同时从多个视角中检测两种不同类型的离群点。该方法的特点是只能在原始的低层特征空间中检测来自不同视角的离群点。Liu和Lam^[8]开发了一种多视图异常检测算法，以在多个数据源中发现潜在的恶意内幕活动。