[发明专利]基于节点输入约束的全连接深度学习模型快速训练方法

说明书

技术领域

本发明属深度学习技术领域，涉及一种在全连接深度学习模型中的快速训练算法，具体涉及一种基于节点输入约束的全连接深度学习模型快速训练方法。

背景技术

目前存在的深度学习模型快速训练方法主要有两类：一类是基于节点函数改进的，通过改进节点函数形式，减少训练次数，使得网络快速收敛；另一类是基于训练算法策略改进，通过各种改进的训练算法策略，减少训练次数，使得网络快速收敛。文献“胡洁,曾祥金等.一种快速且全局收敛的BP神经网络学习算法[J].系统科学与数学,2010,30(5):604-610.”公开了一种快速且全局收敛的BP神经网络学习算法。该算法通过定义一个适当的动量项，避免训练过程中陷入局部极小并且提高收敛速度。文献所用动量项，虽简单，但设置需人为经验。

发明内容

为了克服现有的基于动量项提高BP神经网络算法收敛速度的问题，本发明提供了一种基于网络节点输入约束的全连接深度学习模型快速训练算法。该方法将节点输入约束，引入到全连接深度学习模型训练中。首先，对网络节点输入约束值进行研究，依据激励函数特性对其进行原始函数曲线、一阶导数曲线进行节点约束值分析，得到节点输入约束值；然后，在网络正向计算时节点输入中加入节点输入限制条件，通过限制网络节点输入来控制一阶梯度大小，从而优化梯度，使得网络快速达到收敛；最后，网络误差反向传播更新网络参数，直到网络收敛。

一种基于节点输入约束的全连接深度学习模型快速训练方法，其特征在于步骤如下：

步骤1：基于激励函数确定节点输入约束值：根据激励函数曲线和激励函数一阶导数函数曲线，确定使两条曲线同时开始收敛的初始因变量，以该因变量值的绝对值作为节点输入约束值M_r；

步骤2：在全连接网络正向计算中加入节点约束环节：在网络正向传播中，对于每个隐层、输出层中的每个节点，以步骤1得到的约束值M_r作为门限阈值，对节点原始输入值进行输入限制，具体为：

对于隐层节点：

若则

若则

对于输出层节点：

若则

若则

其中，为隐层输入节点输入值，为输出层节点输入值，i＝1,2,…,M，j＝1,2,…,m，M表示隐层节点个数，m表示输出层节点个数；

步骤3：神经网络训练：先进行网络正向传播，再进行误差反向传导，更新网络参数，直到网络收敛。

本发明的有益效果是：由于把节点输入限制环节加入到了神经网络正向传播环节，有效的实现了网络训练的快速收敛。相对于其他方法，思路简单，参数易于设置。

附图说明

图1是本发明的全连接深度学习网络模型示意图

图2是本发明的一种基于节点输入约束的全连接深度学习模型快速训练方法流程图

图3是Sigmoid函数曲线

图4是Sigmoid函数一阶导数曲线

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

传统全连接深度学习网络结构如图1所示，其前向传导过程如下：

为隐层输入节点输入值，是隐层节点输出值，是输出层节点输入值，是输出节点输出值，分别表示输入层与隐层、隐层与输出层之间的权值。x_k(k＝1,…,n)表示各个输入节点的输入值，h_i(i＝1,2,…,M)表示各个隐层节点，M为隐层节点个数，n为输入节点个数，m为输出层节点个数。在该网络中选择Sigmoid函数作为节点激励函数。

本发明的一种基于节点输入约束的全连接深度学习模型快速训练方法，其基本过程如图2所示，具体包括以下步骤：

1、基于Sigmoid激励函数确定节点输入约束值

Sigmoid函数如下：

f(x)＝1/(1+e^-x)(1)

该函数曲线如图3所示，其一阶导数曲线如图4所示，由两个曲线可以得到：

f'(x)＝0当x＞6或x＜-6(3)

也就是说，使Sigmoid函数曲线和其一阶导数函数曲线同时趋于收敛的初始因变量为±6，因此，令节点输入约束值M_r＝6。

2、在全连接网络正向计算中加入节点约束环节