[发明专利]基于Split LBI算法的自动网络增长方法

说明书

本发明提供一种基于Split LBI算法的自动网络增长方法，能够在训练过程中自动增长卷积神经网络的卷积层和各层卷积核，最终得到参数量较少但是在分类任务中表现很好的神经网络模型的方法。其具体分为两种方法，一是给定神经网络模型层结构的情况下，在训练过程中自动增长各卷积层的卷积核和线性层的线性单元，最终得到训练好的、总参数量比人工设计的模型更少的、训练总代价更少的模型；二是给定一个层数很少的网络结构，训练过程中，先自动增长卷积核来确定各模块的卷积核上限，然后自动增长卷积层，最终得到训练好的、在分类任务上表现很好的模型。

技术领域

本发明属于图像处理领域以及深度学习领域，涉及用于图像分类的卷积神经网络的结构设计，具体涉及一种基于Split LBI算法的自动网络增长方法。

背景技术

近年来，深卷积神经网络在计算视觉领域取得了不俗的成绩。计算机视觉和机器学习社区解决许多重要任务，如图像分类和图像分割，研究人员设计了许多成功的深层神经网络架构，从只有几个卷积层的神经网络，如LeNet[1]和AlexNet[2]，到10层以上的神经网络，例如VGG[3]和GoogleLenet[4]，甚至有成百上千层的ResNet[5]。在过去，人工设计神经网络结构需要非常强的专业知识、丰富的经验和很多的实验支持。网络的一些关键的超参数，例如层类型(卷积层，池化层等)、卷积层数量和卷积核数量(即，网络深度的宽度)等等。神经网络的表现性能很大程度上取决于总参数的数量、卷积层的数量和各层的卷积核数量，所以这些都是塑造神经网络表达能力的关键的超参数。

在机器学习社区中，大多数研究人员使用自动机器学习方法，例如神经架构自动化搜索(NAS)[6][7]。NAS方法确实在图像分类和对象等许多任务上超过了手工设计的架构，但是NAS的方法需要非常巨大的算力和时间，在很多场合下是不切实际的。此外，为了寻找一个好的架构，各种搜索策略已经被应用，如随机搜索，贝叶斯优化，强化学习，等等。另外也有自动增长神经网络卷积层的方法，但是其中大多数方法也需要大量的计算成本，不便于实际使用。

[1]Yann LeCun,Leon Bottou,Yoshua Bengio,and Patrick Haffner.Gradient-based learning applied to document recognition.Proceedings of the IEEE,1998.1

[2]Alex Krizhevsky,Ilya Sutskever,and Geoffrey E.Hinton.Imagenetclassification with deep convolutional neural networks.NIPS,2012.

[3]Karen Simonyan and Andrew Zisserman.Very deep convolutionalnetworks for large-scale image recognition.arXiv preprint arXiv:1409.1556,2014.

[4]Christian Szegedy,Wei Liu,Yangqing Jia,Pierre Sermanet,Scott Reed,Dragomir Anguelov,Dumitru Erhan,Vincent Vanhoucke,and Andrew Rabinovich.Goingdeeper with convolutions.Proceedings of the IEEE conference on computervision and pattern recognition(CVPR),2015.

[5]Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun.Deep residuallearning for image recognition.CVPR,2016a.