[发明专利]一种有效训练深度卷积神经网络的方法

摘要

本发明公开的一种有效训练深度卷积神经网络的方法，属于深度学习领域。本发明包括如下步骤步骤一针对线性修正单元ReLU的缺点进行改进，提出自适应可延伸的线性修正单元EReLU；步骤二初始化步骤一中的参数t，使深度卷积神经网络模型成为线性结构的初始形态，通过参数t自我学习，实现从线性到非线性的训练深度卷积神经网络方法；还包括步骤三根据深度学习相关领域工程实际对象，利用步骤一、二实现一种有效训练深度卷积神经网络的方法，对相应深度学习相关领域工程实际对象选用的卷积神经网络进行训练，得到深度学习相关领域工程实际对象的深度卷积神经网络。本发明能有效提高深度卷积神经网络的收敛速度，提高模型的泛化能力。

主权项

一种有效训练深度卷积神经网络的方法，其特征在于：包括如下步骤，步骤一：针对线性修正单元ReLU的缺点进行改进，提出自适应可延伸的线性修正单元Extensible ReLU(EReLU)；线性修正单元ReLU的表达式为：y=0x<0xx≥0---(1)]]>通过引入参数t，使线性修正单元ReLU公式(1)改进为自适应可延伸的线性修正单元EReLU公式(2)；y=tx<txx≥t---(2)]]>公式(2)写为y＝max(0,x‑t)+t，当参数t＝0时，自适应可延伸的线性修正单元EReLU退化为线性修正单元ReLU；其中，参数t可正可负且采用权值共享策略，参数t数量与卷积核数量一致；参数t能够在训练过程中依靠链式法则完成自我学习；定义ti为神经网络中的任意一激活层中某个自适应可延伸的线性修正单元EReLU的参数，则∂ϵ∂ti=Σyi∂ϵ∂f(yi)∂f(yi)∂ti---(3)]]>其中为ε损失函数，为从更深层的网络传来的梯度，为对该层所有神经元激活函数的加和，f(·)为自适应可延伸的线性修正单元EReLU，则由公式(2)得梯度为：∂f(yi)∂ti=1,yi<ti0,yi≥ti---(4)]]>引入动量μ来更新参数ti：Δti=μΔti+η∂ϵ∂ti---(5)]]>引入参数t的数量与卷积核数量相同，避免引起过拟合；步骤二：初始化步骤一中的参数t，使深度卷积神经网络模型成为线性结构的初始形态，通过参数t自我学习，实现从线性到非线性的训练深度卷积神经网络方法；将网络权值赋值为期望为0、方差为的正态分布，将步骤一得到的自适应可延伸的线性修正单元EReLU中参数t赋值为小于‑1的实数，所述的参数t的实数优选‑1；其中k为卷积核尺寸，n为卷基层输出通道数；“卷基层+BN+EReLU”单元组成的深度卷积神经网络中，第l层卷基层输出为yl＝wlxl+bl，其中：wl为第l层卷基层的权值，xl为第l层卷基层的输入，bl为第l层卷基层的偏置，yl为第l层卷基层的输出；输入信号期望为E(xl)＝E(BN(f(yl‑1)))＝0，其中E(·)为期望，BN(·)为批量规范化，方差Var(xl)＝1；使卷基层权值期望E(xl)为0，则第l层卷基层输出信号方差为Var(yl)＝nlVar(wl)，其中nl＝k2cl，k为卷积核尺寸，cl为第l层卷基层输出通道数，自适应可延伸的线性修正单元EReLU使得深度卷积神经网络模型能够规避链式递推，从而对于权值初始化具有更强的鲁棒性；此时卷基层输出信号方差为1，将步骤一得到的自适应可延伸的线性修正单元EReLU中参数t初始化为小于‑1的实数即得到线性结构的网络初始形态；在训练中通过参数t自我学习，使参数t逐步向0逼近，从而实现从线性到非线性的训练深度卷积神经网络方法，能有效提高深度卷积神经网络的收敛速度，提高模型的泛化能力。