[发明专利]一种基于深度学习的社区发现方法

说明书

本发明公开了一种基于深度学习的社区发现方法，包括以下步骤：对输入进行预处理，结合节点间邻居个数和距离得到网络的相似度矩阵；采用卷积与全连接结合的方式构建深度学习网络，从而提取网络深层次非线性特征；将第一层网络得到的特征作为第二层网络的输入，并依此类推构成最终深度网络；采用输入与输出的差值以及稀疏性限制和正则化作为损失函数训练网络；将训练完成得到的特征输入聚类算法中得到社区的划分结果。

技术领域

本发明涉及数据挖掘领域，具体涉及一种基于深度学习的社区发现方法。

背景技术

复杂网络是由大量节点以及节点之间错综复杂的关系共同构成的网络结构，除了小世界和无标度等特性外，复杂网络还呈现出明显的社区结构。给定一个网络，社区发现根据网络中节点问的相互关系，将所有节点聚合成一系列子结构，即社区。与不同社区间节点之间的连接关系相比，同一社区内的节点之问通常具有较强的连接关系.目前，主流的社区发现算法分为层次聚类方法(Radicchi,GN,Newman，CNM)、矩阵分块方法(MB-DSGE，OQC)、骨架图方法(gCluSkeleton)、标签传播方法(LPA，HANP,SLPA)、图嵌入方法(Deepwalk，LE，GraRep)等。大多数社区发现方法都可以被分为两类，模块度最大化方法和随机模型。本质上，这两类算法都是将网络映射到一个潜在空间的特征表示，模块度最大化方法通过特征值分解映射，而随机方法则通过非负矩阵分解(NMF)，但这些映射都是线性的，不能很好的提取到真是网络中大量的非线性特征。因而可以使用深度学习去提取特征。

深度学习方法的主要思想是：通过建立具有多个层次的神经网络，实现对输入数据的深层次表达，从而实现更好的分类与特征抽取。其中，前一个层次的输出为后一个层次的输入。使用深度学习方法可以让计算机自动地学习到人工方法难以发现的重要特征。深度学习方法在机器学习和人工智能等领域得到了充分的研究.针对深度学习的理论研究、算法设计和应用系统在许多领域被广泛提出，例如语音识别、图像分类、自然语言处理等.目前，主流的深度学习方法有自动编码器(autoencoder，简称AE)、限制玻尔兹曼机(restricted Boltzmann machines，简称RBM)、深度置信网络(deep belief network，简称DBN)、卷积神经网络(convolutional neural network，简称CNN)、循环神经网络(recurrent neural network，简称RNN)等.其中，AE，RBM，DBN是无监督的深度学习方法，CNN，RNN是有监督的深度学习方法。

发明内容

发明目的：本发明的目的是针对现有的社区发现方法无法更好的提取真实网络的非线性特征，提出一种基于深度学习的社区发现方法。该方法能够对非线性特征的提取以及社区发现的效果。为了实现上述目的，本发明提供了一种在复杂网络中实现社区发现的方法，包括以下步骤：

步骤1，数据预处理：通过考察网络数据间的联系，定义节点间相似性与两个节点的最短路径长度负相关和共同的邻居节点个数正相关，得到相似度矩阵；

步骤2，提取网络特征：构建深度学习网络，并使用其提取网络的结构特征矩阵；

步骤3，使用聚类算法对提取到的网络的结构特征进行聚类，得到社区发现的结果。

步骤1包括以下步骤：

步骤1-1，输入数据为网络的邻接矩阵A∈R^N×N，即邻接矩阵A是一个N×N的实数矩阵R^N×N，N为网络中节点个数，两个节点相连则表示两个节点相邻，互为邻居节点；

步骤1-2，定义节点i和节点j之间的距离dis(i,j)为两个节点间的最短路径；

步骤1-3，定义com(i,j)为节点i和节点j之间共同邻居节点的个数；

步骤1-4，定义节点i和节点j的相似度为sim(i,j)，采用下式计算：