[发明专利]基于深度无监督自动编码器的图异常检测方法

说明书

本发明提出一种基于深度无监督自动编码器的图异常检测方法，属于无监督异常检测领域。由于使用半监督图异常检测算法来检测离群值时，获取有标签的网络节点数据既困难又昂贵，而现有的无监督图异常检测算法也普遍存在两个局限性，首先是现实世界的复杂网络表现出的高度非线性的特征很难用矩阵分解捕捉到，其次矩阵分解技术在更大的网络中不能很好的使用。针对以上问题，为了能够更合理地提取网络表示中的特征信息，本发明提出了一种基于深度无监督自动编码器的图异常检测方法，在生成网络嵌入时，使用随机梯度下降和封闭形式来更新网络，以更快地优化网络参数。其次通过识别网络的结构和属性以及联合结构和属性的嵌入来学习，以最大限度地减少离群值的影响。最终将本发明所提的网络模型应用于无监督异常检测领域，能达到提升检测异常的准确率的效果。

技术领域：

本发明涉及一种基于深度无监督自动编码器的图异常检测方法，属于无监督异常检测领域。

背景技术：

现实世界中图结构数据无处不在，图作为一种复杂的结构化数据，相对于其他数据结构能够更好地存储和表达实体属性之间的联系，在社交网络分析、交通路网分析和知识图谱构建等领域均有广泛的应用。图异常检测是指在一个图或海量的图数据中寻找不正常的结构，包括节点结构异常，属性异常以及结构和属性联合异常三种类别，目前被广泛应用于网络攻击检测、社交网络中的突发事件检测、交通路网异常检测等应用场景。相较于传统的异常检测方法，由于图具有更强大的表达能力，基于图的异常检测方法不仅可以将复杂的数据更加直观的呈现，同时也能将数据中隐含的相关性融入到异常检测过程中。

网络中的节点具有社团结构，当节点的结构及其属性符合网络的社团结构时，大多数网络嵌入算法都能很好地工作。但是现实生活中的网络有社区离群节点，这些离群节点在其结构或属性上的相似性方面与它们所属社区的其他节点有很大的差异。如果不仔细处理这些离群节点，甚至会影响网络中其他节点的嵌入。因此，选择一个合适的节点嵌入方法在无监督异常检测任务中处理异常值的结构和属性是非常重要的。为了更合理地提取网络表示中的特征信息，本发明提出了一种基于深度无监督自动编码器的图异常检测方法，在生成网络嵌入时，使用随机梯度下降和封闭形式更新网络，以更快地优化网络参数。同时通过识别网络的结构和属性以及联合结构和属性的嵌入来学习，以最大限度地减少离群值的影响。

基于深度无监督自动编码器的图异常检测方法的应用列举及优势如下。

案例1：应用于网络攻击检测。通过对网络结构的实时监测，能够第一时间发现网络的异常情况从而及时对网络安全加强防护，避免黑客入侵和网络瘫痪。

案例2：应用于社交网络异常检测。通过对社交网络的检测，能够检测到社交网络中的突发事件，避免异常用户通过创建多个马甲进行虚假评论，盗用用户信息进行网络欺凌等情况的发生。

案例3：应用于交通路网异常检测。通过对交通路网的实时监控，能够提前预测不正常的交通路段情况，如异常轨迹预测和路网拥堵趋势预测等，从而避免不必要的交通事故发生。

发明内容：

由于使用半监督图异常检测算法来检测离群值时，获取有标签的网络节点数据既困难又昂贵，而现有的无监督图异常检测算法也普遍存在两个局限性，首先是现实世界的复杂网络表现出的高度非线性的特征很难用矩阵分解捕捉到，其次矩阵分解技术在更大的网络中不能很好的使用。因此为了解决以上问题，本发明提出了一种基于深度无监督自动编码器的图异常检测方法。

(一)技术方案

基于深度无监督自动编码器的图异常检测方法的基本思想是：一方面使用两个并行的自动编码器分别对节点的结构和属性进行编码，以一种无监督的方式来最小化异常值对网络嵌入的影响，另一方面使用SGD算法训练模型，同时使用封闭形式更新网络，以更快地优化网络的参数。具体步骤如下：

1.模型预处理