[发明专利]高效卷积神经网络

说明书

本公开提供新的、更有效的神经网络架构。作为一个示例，在一些实现方式中，本公开的神经网络架构可以包括线性瓶颈层，该线性瓶颈层在结构上位于一个或多个卷积层(例如，一个或多个深度可分离卷积层)之前和/或之后。作为另一示例，在一些实现方式中，本公开的神经网络架构可以包括一个或多个反向残差块，其中，反向残差块的输入和输出是薄瓶颈层，而中间层是扩展表示。例如，扩展表示可以包括一个或多个卷积层，诸如一个或多个深度可分离卷积层。在起到反向残差块的输入和输出作用的薄瓶颈层之间可以存在残差快捷连接。

相关申请的交叉引用

本申请要求名称均为“Highly Efficient Convolutional Neural Networks(高效卷积神经网络)”的、在2017年11月24日提交的美国临时专利申请第62/586,007号和在2018年2月17日提交的美国专利申请第15/898,566号的优先权和权益。美国临时专利申请第62/586,007号和美国专利申请第15/898,566号通过引用整体并入本文。

技术领域

本公开总体上涉及人工神经网络(“神经网络”)。更具体地，本公开涉及用于移动和/或嵌入式视觉应用的有效卷积神经网络结构，并且还涉及降低与卷积神经网络相关联的计算成本和/或存储器要求的技术。

背景技术

卷积神经网络已经成为计算机视觉的主力，并且在大多数主要用例中达到了最前沿的结果。卷积神经网络领域的总体趋势是制作更大更复杂的网络以便实现更高的准确度。随着卷积神经网络为了(in service of)增加准确度而增加尺寸和复杂性，它们的计算成本也随之增加。然而，在某一点，这些进步带来减少的回报，因为增加复杂性、尺寸和额外的计算仅使得准确度小幅上涨。

在某些计算资源(例如，存储器和处理能力)受到限制的计算环境的背景下，当前向更大型和更复杂的网络发展的趋势尤其成问题。例如，移动计算设备和/或嵌入式计算为实现这种大型和复杂的网络提供了挑战性的环境。此外，在某些场景或应用中，网络要解决的问题可能不需要提供最前沿准确度的大型复杂的模型。

因此，期望用于减少神经网络(例如，卷积神经网络)的计算成本和/或存储要求的技术。在某些情况下，这种技术可以称为执行神经网络压缩。

神经网络压缩的一个一般方向是网络剪枝(network pruning)，其中网络中包括的连接的子集被去除。然而，如果对要去除哪些连接/参数没有约束，则网络剪枝通常导致不规则的网络。这样的网络是不期望的，因为计算上的节省无法轻易利用并且连接的非结构化性质需要额外努力来表示。这些缺点对训练时间和存储器使用产生负面影响。另一方面，如果过多地限制对要去除的参数的约束，则模型的灵活性会降低。

神经网络压缩的另一个方向为架构搜索带来包括遗传算法和强化学习的优化方法。然而，一个缺点是最终产生的网络过于复杂。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实践而获悉。

本公开的一个示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个卷积块。一个或多个卷积块中的每一个包括线性瓶颈层和一个或多个卷积层。

本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括被配置为提供第一输出的一个或多个卷积层以及被配置为接收第一输出并生成第二输出的线性瓶颈层。线性瓶颈层还被配置为接收残差并将残差加到第二输出以提供第三输出。