[发明专利]一种基于双重自注意的动态图异常检测方法

权利要求书

1.一种基于双重自注意的动态图异常检测方法，其特征在于：包括如下步骤：

S1：DuSAG提取动态图的结构特征和时序特征进行异常边的检测；

S2：DuSAG将结构自注意应用于图的随机游走采样得到的顶点序列，使DuSAG能够关注顶点序列中更加重要的顶点，以此增强图的结构特征学习；

S3：DuSAG将时序自注意应用在不同时间戳的顶点嵌入上，使DuSAG能够捕获顶点的进化模式，学习图的时序特征。

2.根据权利要求1所述的一种基于双重自注意的动态图异常检测方法，其特征在于：所述结构自注意用于进行提取图的结构特征，使用随机游走算法在图上采样顶点序列，每个序列可以被看为是一个“句子”，使用自然语言处理技术得到顶点嵌入；

DuSAG先使用Node2Vec的随机游走算法生成顶点序列，并通过对随机游走集应用结构自注意来学习结构特征，通过结构自注意，顶点嵌入捕获图局部区域的特征；

形式上，在时间步长t时，在快照G^t上采样随机游走，DuSAG对每个顶点采样ψ个游走，并将随机游走的长度设置为L，G^t的随机游走用Ω^t表示，对于每个游走，通过初始化的顶点嵌入H^t，将每个游走转换为嵌入Q^t，并将它传递给SelfAttention，如下所示：

O^t＝SelfAttention(Q^t)(1)；

O^t是结构顶点嵌入，它包含了动态图的结构特征，DuSAG使用了注意力的比例点积形式，查询、键和值是输入嵌入的线性变换，其中W_q，W_k，W_y是线性投影矩阵，对于每个游走，SelfAttention定义如下：

Z^t＝β^t(Q^tW_y)(4)；

其中，β^t是注意力权重矩阵，DuSAG使用多头自注意来关注输入的不同子空间，以捕获更复杂的模式，通过级联η个结果和φ个随机游走，得到O^t：

3.根据权利要求1所述的一种基于双重自注意的动态图异常检测方法，其特征在于：所述时序自注意的目标是捕获顶点的进化模式，提取时序特征；DuSAG将自注意应用于不同快照的嵌入O^t；

形式上，对于每个游走，计算得到嵌入O^t，取游走中的顶点v，并从w个快照中构造O_v，其中w是窗口的大小，对于每个顶点v，添加位置嵌入来获得O′_v＝O_v+P，其中P是位置嵌入矩阵，它是通过绝对时间步长索引W_p获得的，W_p是位置嵌入矩阵，利用自注意算法SelfAttention′，得到顶点嵌入U_v：

U_v＝SelfAttention′(O′_v)(6)；

与SelfAttention不同，SelfAttention′关注当前时间戳和之前时间戳，即屏蔽了未来，SelfAttention′和SelfAttention之间只有以下公式不同：

定义掩码矩阵M为：

当M_ij＝-∞时，softmax激活函数将获得零权重，这使得DuSAG可以屏蔽未来时间戳，经过时序自注意后，可以得到包含结构特征和时序特征的顶点嵌入U_v。

4.根据权利要求1所述的一种基于双重自注意的动态图异常检测方法，其特征在于：所述DuSAG的损失函数设置如下：DuSAG最小化同一随机游走中顶点之间的距离，增加不处于同一个随机游走中顶点之间的距离，DuSAG使用负采样来降低计算复杂度；

形式上，损失函数J^t为：

其中是顶点v在时间步长t处的负采样顶点集，b是间隔；

得到顶点嵌入U^t后，进行边异常检测，DuSAG利用边编码器φ将顶点嵌入和边集转换为边嵌入K^t，采用3层全连接网络的one-class神经网络，即OCNN作为异常检测框架，其前向传播公式为：

其中和分别为OCNN第l层的权值矩阵和偏置向量，异常得分向量通过阈值，可以将异常边与正常区分开来，OCNN的损失函数为：

OCNN的超参数为v和r，分别控制过超平面的数据点数和超平面的偏差。