[发明专利]一种基于图嵌入技术的特征提取优化方法

说明书

本发明公开了一种基于图嵌入技术的特征提取优化方法，其方法为：第一步、搭建调节机制；第二步、定义机制中需要的变量；第三步、定义扩张机制以及衰减机制在训练中的变化规则；第四步、设置协调参数；第五步、应用扩张机制以及衰减机制到神经网络中。有益效果：该方法通常会对模型的精度有一定的优化，这表现了该方法具有一定的实用意义。该方法新颖合理，根据神经网络的结构特点从而构建可用的调节机制。

技术领域

本发明涉及一种特征提取优化方法，特别涉及一种基于图嵌入技术的特征提取优化方法。

背景技术

目前，随着社会网络的发展和复杂化，对社会网络的分析和研究逐渐的扩展到教育，经济，地理等各个领域，现已成为社会学中的较为成熟的分析方法。在社会网络的分析技术中，基于嵌入技术的非监督算法已经被广泛的应用，该类算法主要是通过关注网络中结点和边的局部相关关系从而定义它们的特征表示。该领域中的应用包括：社区划分，对象定性，社区连接预测以及可视化等。这些非监督的学习方法大多都是通过层级多分类器进行学习的，因此对层级多分类器来说，探索一个基于层级结构的调控方法是可行的。

该优化方法基于层级多分类器本身的特点来进行调节的，其优化依据如下：

首先层级多分类器的结构为一个正三角结构，从第一层开始每层以指数级增长，因此对每层的学习率的调节成为了可能，在不同的应用领域中，其最佳的每层学习率的平衡位置是不相同的。

第二，很多使用层级多分类器算法的相关模型都可能获得不错的调整，使得它们可以适应不同领域的使用。这些模型可能是：深度游走，结点向量生成以及结构向量生成等模型。

第三，该调节方式使得图中每个节点的特征向量的定义更能够体现其所在领域的相关特点。使得这些模型在该领域中的社区划分，聚类，连接预测等任务中取得不错的结果。

发明内容

本发明的目的是通过增加一个训练梯度调节机制来实现人为控制层级多分类器神经网络不同层的训练程度，从而使得在不同的应用领域获得更好的图分析结果而提供的一种基于图嵌入技术的特征提取优化方法。

本发明提供的基于图嵌入技术的特征提取优化方法，其方法如下所述：

搭建调节机制，分析在特定领域中两个协调变量的最优值，获得特定领域的最优调节参数，具体如下：

第一步、层级多分类器中使用的符号定义如下表：

神经网络最初的输入为随机游走的上下文段，每段中都有且只有一个中心词，随后构建将会在层级多分类器中用到结点数据结构并对其初始化，树中的叶子节点使用它在社交网络字典D中编号，而多出来的非叶子节点则使用已存在的叶子节点进行编号；

第二步、这一步骤定义机制中需要的变量，具体如下：

层级优化算法涉及到两个机制和一个协调参数，层级扩张和衰减机制，它们使用一个控制变量来调节每层神经元的学习速率，定义a为层级扩张机制的控制变量，而b为层级衰减机制的控制变量，对于两个机制的协调参数定义为变量c，假设当前机制起作用的哈夫曼树中一个分支的最大深度为max_deep,而在层级扩张机制中扩张的最大倍数设置为max_exp,通常它是一个大于1的值，同样的层级衰减中的最大衰减倍数设置为max_dec，通常它是一个介于0和1之间的值，假设当前所在层数为i，并且i∈[1,max_deep]；

第三步、定义扩张机制以及衰减机制在训练中的变化规则，具体如下：

扩张因子：扩张因子是层级扩张机制中的用到的调节变量，它负责扩大不同层神经元的学习速率，它的作用范围是树中的所有非叶子结点，从根节点开始，以下每层的神经元的学习梯度增速逐渐增加，直到最后一层非叶子结点的梯度被增加了max_exp倍，使用参数a作为每层神经元梯度的增加倍数，参数a在训练中的变换公式如下：