[发明专利]一种基于时序图Transformer的连续动态网络表征学习方法

说明书

本发明公开了一种基于时序图Transformer的连续动态网络表征学习方法，属于网络表征学习领域，包括：由基于连续动态系统的时序编码模块对动态网络的时序信息进行建模，将时间戳信息编码为向量，和节点的特征向量进行结合；基于节点在动态图中的影响力进行中心度编码，将节点的度作为其中心度信息编码到节点特征中，由基于中心度编码的注意力模块捕获动态网络的结构信息；设计基于注意力机制的空间事件系数描述动态网络中事件依赖的全局范围。本发明应用神经常微分方程编码连续时序信息，并通过中心度编码和堆叠多层Transformer实现对动态网络中时序信息和拓扑结构信息的提取，以学习包含全局依赖关系的连续动态网络表征。

技术领域

本发明属于网络表征学习领域，更确切的说，本发明涉及一种基于时序图Transformer的连续动态网络表征学习方法。

背景技术

动态网络是指网络中除了包含节点和边之外，还包含网络历史状态信息、网络在某一时刻的快照以及时间戳等相关信息，由此，将动态网络分为两种类型：基于快照的离散型动态网络和时间连续的连续型动态网络。离散型动态网络可以看作是多个静态图在固定时间间隔内的组合，而连续型动态网络是一系列时间相关事件的集合，对应着网络中节点和边的增加或减少，也更符合真实的复杂网络变化过程。

现有的动态网络表征学习(Dynamic Network Representation Learning，DNRL)方法大多集中在离散网络上。离散DNRL方法通常采用一个图神经网络(Graph NeuralNetwork，GNN)对每个图的快照进行编码，然后结合循环神经网络(Recurrent neuralnetwork，RNN)模型来揭示不同时间戳下的节点和边之间的交互以及不同时间下的关联关系。它们通过记录不同时刻的图结构，可以在一定程度上描述网络的动态。然而,离散网络意味着事件(例如,添加和删除节点或边)被认为同时发生在同一快照,从而导致大量的信息损失和事件在时间线上的不均匀分布。

连续DNRL方法可以提供更细粒度的时间信息，其在动态网络建模方面具有更高的潜力。这些方法要么使用RNN模型对每个节点保持隐表示，要么使用RNN模型对建模连续事件的时间点过程参数化。这些方法由于使用RNN对时间信息进行建模而受到限制，且只关注局部邻域信息的聚合。然而，现实网络中发生的事件不仅涉及到新出现的边，而且由于整体结构的变化，还会对更大的区域产生影响。以往的连续DNRL方法忽略了全局信息的重要性，导致网络演化过程中未聚合的结构信息和语义信息丢失。

发明内容

本发明所要解决的技术问题是基于离散方法的动态网络表征学习时间粒度较粗，无法捕获连续完整的动态信息，而基于连续方法的动态网络表征学习受限于仅利用RNN编码时间序列，并且它们只聚合局部邻域信息，导致学习到的表征不足以反映全局的拓扑和语义信息。为了克服这些问题，本发明提出一种基于时序图Transformer的连续动态网络表征学习方法，在由事件和事件发生时间组成的连续时间网络中聚合全局事件驱动信息。

为达到上述目标，本发明提出的一种基于时序图Transformer的连续动态网络表征学习方法的技术方案包括如下步骤：

步骤一：由基于连续动态系统的时序编码模块对动态网络的时序信息进行建模，将时间戳信息编码为向量，作为传播过程中时间信息的唯一来源，并和节点的特征向量进行结合，为每个节点引入一定的时序信息。

(1)构造连续映射函数，其接受任意时刻作为输入，将离散时间从时域空间投影到d维的向量空间。

(2)指定多层感知机，其描述从前一时刻转换至后一时刻的动态时间轨迹变化过程。

(3)将连续映射函数和多层感知机的关系公式转换为常微分方程其中p(t)是定义在正实数域上的连续函数，g(τ,p_τ；w_h)是多层感知机，(τ,p_τ)为前一时刻的状态，w_h是该神经网络的参数，该方程保证有唯一解。