[发明专利]一种基于图嵌入技术的特征提取优化方法

权利要求书

1.一种基于图嵌入技术的特征提取优化方法，其特征与方法如下所述：

搭建调节机制，分析在特定领域中两个协调变量的最优值，获得特定领域的最优调节参数，具体如下：

第一步、层级多分类器中使用的符号定义如下表：

神经网络最初的输入为随机游走的上下文段，每段中都有且只有一个中心词，随后构建将会在层级多分类器中用到结点数据结构并对其初始化，树中的叶子节点使用它在社交网络字典D中编号，而多出来的非叶子节点则使用已存在的叶子节点进行编号；

第二步、这一步骤定义机制中需要的变量，具体如下：

层级优化算法涉及到两个机制和一个协调参数，层级扩张和衰减机制，它们使用一个控制变量来调节每层神经元的学习速率，定义a为层级扩张机制的控制变量，而b为层级衰减机制的控制变量，对于两个机制的协调参数定义为变量c，假设当前机制起作用的哈夫曼树中一个分支的最大深度为max_deep,而在层级扩张机制中扩张的最大倍数设置为max_exp,通常它是一个大于1的值，同样的层级衰减中的最大衰减倍数设置为max_dec，通常它是一个介于0和1之间的值，假设当前所在层数为i，并且i∈[1,max_deep]；

第三步、定义扩张机制以及衰减机制在训练中的变化规则，具体如下：

扩张因子：扩张因子是层级扩张机制中的用到的调节变量，它负责扩大不同层神经元的学习速率，它的作用范围是树中的所有非叶子结点，从根节点开始，以下每层的神经元的学习梯度增速逐渐增加，直到最后一层非叶子结点的梯度被增加了max_exp倍，使用参数a作为每层神经元梯度的增加倍数，参数a在训练中的变换公式如下：

衰减因子：衰减因子是层级衰减机制中的调节变量，它负责缩小不同层神经元的学习速率，它的作用范围也是树中的非叶子结点，它从最后一层非叶子节点开始，以上每层的神经元的梯度的倍数逐渐衰减，直到根节点，它的梯度被衰减了max_dec倍，使用参数b作为每层神经元的衰减倍数，参数b在训练中的变换公式如下：

第四步、设置协调参数c：对于协调参数c来说，它通常根据每个被送往层级多分类器的语料的迭代训练次数来进行设置，在这种情况下，如果每个语料被迭代训练的次数为count_iter,那么c的值被设置为c＝0.4*count_iter，参数c也可以是一个随着迭代次数变化的动态变量，此时它将作为层级衰减和扩张机制的一部分，假设当前的已经迭代的次数为current_iter∈[0,count_iter]，那么参数c对层级机制中的a和b的影响如下式：

第五步、应用扩张机制以及衰减机制到神经网络中：

基于层级多分类器梯度模型计算使用最大似然法来寻找所有的叶子节点向量和非叶子节点权重，所用到的似然函数：

Context函数表示获得以w为中心词的上下文，定义某个结点w经过哈夫曼树的某个非叶子节点的对数似然函数为：

因此它关于某一个词节点u的最大似然函数为：

同样的，对上式取对数并关于求导，获得可以进行梯度上升不断更新非叶子节点u权重的表达式：

上式中的就是树中非叶子节点的权重梯度θ，调节机制中的a和b对alpha变量对神经网络不同层梯度的影响如下式所示：

alpha＝(1/λ)(1+(λ-1)((j-1)/(lw-1))),λ∈{a,b}

有了调节机制的搭建过程，就需要分析在特定领域中探索a，b和c的最优值，该过程可分成以下几步实现：

步骤一、选择应用中需要用到的模型和数据集：

通常在该领域中的数据集会具有相同的特点，因此探索出的最优a，b和c的值将适用于该领域的其他数据集，对于基于层级多分类器模型的选择，通常可以测试它们在该领域中的表现，选择出表现最好的一个；

步骤二、固定其他参数，等间隔的调节a或b的值：

当a或b的值为1时，表明调节机制这时不起任何作用，在固定a或b其中一个值为1的时候，设置另一个值，然后训练神经网络，记录下每次测试的Micro-F1和Macro-F1分数，当对模型的优化越来越差的时候停止记录；

步骤三、作图并分析最优a和b的值：

经过以上步骤的测试记录，做出一个Micro-F1和Macro-F1与a和b的关系图，图中起伏的曲线展示了当a和b为多少时，对模型的优化力度最大，Micro-F1和Macro-F1为所有类别的预测精度的评价指标，Micro-F1表示微平均，而Macro-F1表示宏平均，它们是常用的评价指标；

步骤四、设置最优c值，c为扩张机制和衰减机制的分界线，使用同样的方法统计出它的最佳值。