[发明专利]面向大规模网络的图布局方法以及装置

说明书

本发明公开了一种面向大规模网络的图布局方法，包括：通过基于机器学习的网络嵌入表示模型，将图数据中每一个节点表示为低维稠密向量，构建图数据的嵌入矩阵；通过改进的非线性降维算法，对嵌入矩阵进行投影，获得图数据在二维空间中的图布局结果。本发明还公开了一种面向大规模网络的图布局装置。本发明计算效率更高、需要的存储空间更少，且能够保持图数据的局部和全局结构特征，同时对于图数据中度值较高的节点，使其能够与邻居节点在保持局部结构信息的情况下相对分散开，能够有效缓解可能出现的拥挤或者重叠现象。

技术领域

本发明属于网络数据处理领域，具体是涉及到一种面向大规模网络的图布局方法以及装置。

背景技术

面对日益增长的大规模数据，图可视化已成为一种重要的网络数据分析方法，在许多应用领域都发挥着重要作用，比如生物医学网络、化学分子网络、交通网络、金融交易网络、学术合作网络、社交网络等领域。我们可知图可视化由图布局、网络属性表达和合理的用户交互三部分组成，而其中最核心的要素就是图布局，网络属性的表达以及合理的用户交互以良好的图布局为前提，因此图可视化领域的主要研究内容之一就是图布局。

图布局方法主要分类两类：基于力引导的图布局和基于数据降维的图布局。基于力引导的图布局是通过将图建模为物理系统，图中的节点表示钢环，节点之间的连边类比为弹簧，模拟弹簧系统中的引力和斥力。首先给该系统设定一个随机的初始状态，系统中的节点会在引力和斥力的相互作用下不断迭代更新自己的位置，直到整个系统中的节点受力均衡时停止迭代，此时系统达到一个稳定状态。基于数据降维的图布局是通过最小化目标函数，保持图空间中节点分布和二维布局空间中节点分布的相似性，使得二维布局的分布尽量接近于图空间中的分布，力求保持并反映出原始图数据的结构和属性信息。

力引导布局算法简单且容易实现，然而该方法只能达到局部优化，布局空间中点与点之间的距离能够很好的表征图空间中相应节点之间的局部结构，却很难捕获图数据中局部与局部之间的关系，即全局的结构信息。基于降维的图布局算法能够弥补力引导布局算法的不足，保持图数据的全局特征，其主要思想是将数据从高维的图空间降到二维的布局空间，力求在布局空间中也能尽量保持原始图空间中节点对之间的接近性，使得嵌入到二维空间中的布局整体偏离最小。降维技术分为线性降维技术和非线性降维技术，而传统的线性降维方法如多维尺度分析，虽然能够在二维空间中有效分析出高维空间中的数据结构信息，然而对于非线性结构数据而言，数据点之间的结构关系无法通过线性进行有效的表示，因此衍生出非线性降维算法，该算法的核心思想是，基于流行学习，力求寻找高维数据中的低维流形，而后得到相应的二维嵌入映射。

现有的非线性降维技术有以下几种：

1)tsNET算法。tsNET是在t-SNE非线性降维方法的基础上改进了目标函数，在度量图空间节点分布和布局空间节点分布之间差异的KL散度的基础上，结合压缩项和斥力项，构建了新的优化目标函数，通过不断迭代优化目标函数得到了良好的图布局结果，缓解了节点之间的拥挤现象。

2)tsNET*算法。tsNET*算法在tsNET方法的基础上，采用PivotMDS方法初始化布局空间中各个节点的坐标值，虽然算法复杂性有所增加，但图布局质量相比tsNET方法得到了很大的改善。

tsNET以及tsNET*方法相比传统的力引导布局方法更加灵活。但是该算法首先计算节点对之间图论的最短路径距离，得到大小为|V|×|V|的最短路径距离矩阵。该矩阵中的每i行表示第i个节点到图数据其余节点的最短路径距离，用一个长度为|V|的向量来表示。然后基于该矩阵采用条件概率的形式计算节点对之间的相似性，该方法需要依次遍历计算节点对之间的距离，计算复杂性与图数据节点数量的二次方成比例，即O(|V|²)。存储该最短路径距离矩阵的复杂性相同，也是与节点数量的二次方成比例，即O(|V|²)。对于节点数量非常多的图数据来说，得到该矩阵的空间和时间复杂性是无法接受的。