[发明专利]基于节点输入约束的全连接深度学习模型快速训练方法

摘要

本发明提供了一种基于节点输入约束的全连接深度学习模型快速训练方法，将节点输入约束，引入到全连接深度学习模型训练中。首先，对网络节点输入约束值进行研究，依据激励函数的函数特性对其进行原始函数曲线、一阶导数曲线进行节点约束值分析，得到节点输入约束值；然后，在网络正向计算时节点输入中加入节点输入限制条件；最后，网络误差反向传播更新网络参数，直到网络收敛。由于把节点输入限制环节加入到了神经网络正向传播环节，有效的实现了网络训练的快速收敛，本发明方法实现简单，参数易于设置。

主权项

一种基于节点输入约束的全连接深度学习模型快速训练方法，其特征在于步骤如下：步骤1：基于激励函数确定节点输入约束值：根据激励函数曲线和激励函数一阶导数函数曲线，确定使两条曲线同时开始收敛的初始因变量，以该因变量值的绝对值作为节点输入约束值Mr；步骤2：在全连接网络正向计算中加入节点约束环节：在网络正向传播中，对于每个隐层、输出层中的每个节点，以步骤1得到的约束值Mr作为门限阈值，对节点原始输入值进行输入限制，具体为：对于隐层节点：若则若则对于输出层节点：若则若则其中，为隐层输入节点输入值，为输出层节点输入值，i＝1,2,…,M，j＝1,2,…,m，M表示隐层节点个数，m表示输出层节点个数；步骤3：神经网络训练：先进行网络正向传播，再进行误差反向传导，更新网络参数，直到网络收敛。