[发明专利]一种非常深度神经网络的自动加层训练方法

说明书

本发明涉及一种非常深度神经网络的自动加层训练方法，包括：步骤1)、确定训练集、非常深度神经网络的初始结构，并对所述非常深度神经网络及相关参数进行初始化；步骤2)、训练非常深度神经网络并修改其误差率饱和状态；步骤3)、判断非常深度神经网络的误差率饱和状态，若误差率饱和状态的值为0，重新执行步骤2)，若误差率饱和状态的值小于附加层有效窗口的大小，执行步骤4)，若误差率饱和状态的值等于附加层有效窗口的大小，执行步骤5)；步骤4)、若非常深度神经网络的当前深度满足用户设定的最大深度，执行步骤5)，否则对当前非常深度神经网络执行加层操作，然后重新执行步骤2)；步骤5)、输出该非常深度神经网络，训练结束。

技术领域

本发明涉及数据挖掘与智能处理领域，尤其涉及一种非常深度神经网络的自动加层训练方法。

背景技术

在目前的商业领域和科研领域中，大数据技术正成为解决数据导向问题的关键技术，涉及的数据规模和数据处理复杂度也呈现爆炸式增长。传统机器学习方法虽然简单易用，但存在精度低，可扩展性差的缺点，并不能完全做到大规模数据的快速响应。依赖个人经验和手工操作来标注数据、提取特征和挖掘数据的传统方法，已经很难满足快速增长的数据处理需求。

深度学习的研究突破，为解决大数据处理问题指出了一个值得探索的方向。深度学习可以从大量数据中自动提取特征，并通过更多的样本训练来获得更好的处理效果。深度学习与大数据是相辅相成的，一方面大数据的快速增长需要一种高效处理海量数据的方法，另一方面深度学习系统的训练需要海量的样本数据。深度学习算法能极大提高分类和预测的精确度，在大数据领域有着良好的应用前景。由于深度学习的提出，DBN、CNN、RNN等深度算法得到越来越广泛的应用，而这类深度算法的网络规模也受处理问题的数据规模所影响，所要处理的数据规模越大，问题的非线性程度越高。但是，现有的深度学习系统仍然存在很多严重的问题，包括模型难以扩展、参数优化困难、推理效率低下等。

特别是，针对不同问题需要设计不同结构的深度神经网络。如果网络深度过浅则降低了神经网络精度及泛化能力，但如果网络深度过深则提高了对训练时长、数据量及硬件资源的要求。当神经网络达到非常深时，就会要求神经网络能根据样本数据自动调整自身结构，以降低神经网络训练过程中的时长和提高准确率。

发明内容

本发明的目的在于克服针对某一特定数据集的神经网络的隐层数目不确定问题，从而提供一种能够自动加深神经网络，提高神经网络训练速度的自动加层训练方法。

为了实现上述目的，本发明提供了一种非常深度神经网络的自动加层训练方法，包括：

步骤1)、确定训练集、非常深度神经网络的初始结构，并对所述非常深度神经网络及相关参数进行初始化；其中，

所述非常深度神经网络为深度在8层以上的神经网络；

所述非常深度神经网络的相关参数包括：训练参数、训练误差率、误差率下降阈值、误差率饱和状态以及附加层有效窗口；所述训练参数包括学习率、动量项、训练样本数量；

步骤2)、训练非常深度神经网络并修改其误差率饱和状态；

步骤3)、判断非常深度神经网络的误差率饱和状态，若误差率饱和状态的值为0，则重新执行步骤2)，若误差率饱和状态的值小于附加层有效窗口的大小，则执行步骤4)，若误差率饱和状态的值等于附加层有效窗口的大小，则执行步骤5)；

步骤4)、若非常深度神经网络的当前深度满足用户设定的最大深度，则执行步骤5)，否则对当前非常深度神经网络执行加层操作，然后重新执行步骤2)；

步骤5)、输出当前的非常深度神经网络，训练结束。

上述技术方案中，在步骤1)中，初始化非常深度神经网络的相关参数包括：

将训练误差率的初始值设为1；