[发明专利]一种DNN层深关联学习率动态学习方法

权利要求书

1.一种DNN层深关联学习率动态学习方法，其特征在于：为DNN所有带参网络层均增加一个只调节本层学习速率的学习参数LLR，LLR的初始值通过手动设定，基于现有的损失函数在训练过程中动态调整LLR数值，并且各层的LLR数值在调整过程中遵循曲线冲击调整方法，即学习参数在调整时，学习参数的调整曲线随训练次数震荡，并且震荡区间随着训练次数增加而逐步递减。

2.根据权利要求1所述的DNN层深关联学习率动态学习方法，其特征在于：所述带参网络层指DNN网络中需要通过训练确定参数的层，包括卷积层、池化层、缩放层、归一化层、叠加层和全连接层。

3.根据权利要求1所述的DNN层深关联学习率动态学习方法，其特征在于：学习参数的调整曲线为衰减型周期震荡学习曲线，包括衰减的三角曲线和正弦曲线。

4.根据权利要求1或3所述的DNN层深关联学习率动态学习方法，其特征在于：所述学习参数的调整曲线为：

LLRF(N)= (1/2)*(F1(N)-F2(N))*sin(w*N)+(1/2)*(F1(N)+F2(N))，

其中，F1(N)、F2(N)为两个衰减型指数，

F1(N)= b*exp(-a*N)，

F2(N)= c*exp(-d*N)，

a、b、c、d、w为常数，N为训练迭代次数。

5.根据权利要求1所述的DNN层深关联学习率动态学习方法，其特征在于：基于现有的损失函数在训练过程中动态调整LLR数值的过程为：损失函数对LLR进行求导，求导结果记为▽，则LLR(k)=LLR(k-1)-LLRF(k)*▽，即第k次迭代调整时LLR值为上次LLR值减去LLRF(k)*▽，LLRF(k)为第k次迭代调整时学习参数调整曲线对应的取值。

6.根据权利要求1所述的DNN层深关联学习率动态学习方法，其特征在于：基于现有的损失函数在训练过程中对LLR外的其它参数动态调整的过程为：损失函数对进行θ求导，求导结果记为▽，θ表示除LLR外的其他参数，则θ(k)=θ(k-1)-LLR*▽，即第k次迭代调整时θ值为上次θ值减去LLR*▽，LLR为针对本带参网络层设置的学习参数。