[发明专利]减少卷积神经网络的资源消耗的系统及相关方法

说明书

一种用于减少卷积神经网络的资源消耗的计算机实现的方法可以包括获得描述卷积神经网络的数据。卷积神经网络可以包括被配置为使用多个内核执行卷积的多个卷积层，每个内核包括多个内核元素。该方法可以包括针对一个或多个训练迭代使用包括组稀疏正则化项的损失函数来训练卷积神经网络，该组稀疏正则化项被配置为稀疏(一个或多个)内核的内核元素的相应子集；在至少一个训练迭代之后，针对(一个或多个)内核中的每个内核至少部分地基于内核元素的相应子集的相应值来确定是否修改这种内核以移除内核元素的相应子集；并且修改(一个或多个)内核中的至少一个内核以移除内核元素的相应子集。

技术领域

本公开一般而言涉及卷积神经网络。更具体地，本公开涉及用于减少卷积神经网络的资源消耗的系统和相关方法。

背景技术

卷积神经网络一般包括卷积层，这些卷积层应用学习到的内核(也称为过滤器)对相应的输入数据执行卷积以产生相应的输出数据。对于许多现有的卷积神经网络，人类手动选择各种内核的相应尺寸(例如，维度)以平衡性能与计算需求。例如，在一些情况下，更大的内核可以提供更高的准确性和/或更好的性能。但是，增加的内核尺寸一般导致更大的计算需求，这会增加执行模型所需的时间。例如，更大的内核将包括更大数量的参数。网络的每个单独的参数值通常存储在存储器中，因此，当在设备上存储时，更大的内核将导致网络消耗附加的存储器资源。作为另一个示例，当实现网络以生成推理时，更大的内核将要求附加处理操作(例如，浮点操作或FLOP)，因此，当在设备上实现时，更大的内核将导致网络消耗附加的处理资源和/或具有增加的时延。诸如存储器资源和/或处理器资源之类的增加的资源消耗一般是不期望的，并且如果在诸如移动设备、嵌入式设备和/或边缘设备之类的资源受限的环境中存储和/或实现网络，那么会特别成问题。

发明内容

本公开的实施例的方面和优点将在下面的描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践而获知。

本公开的一个示例方面针对用于减少卷积神经网络的资源消耗的计算机实现的方法。该方法可以包括由一个或多个计算设备获得描述卷积神经网络的数据。卷积神经网络可以包括被配置为使用多个内核执行卷积的多个卷积层。多个内核中的每个内核可以包括多个内核元素。该方法可以包括由一个或多个计算设备针对一个或多个训练迭代来使用包括组稀疏正则化项的损失函数训练卷积神经网络。组稀疏正则化项可以被配置为稀疏卷积神经网络的多个内核中的一个或多个内核中的每个内核的内核元素的相应子集。该方法可以包括：在至少一个训练迭代之后，由一个或多个计算设备针对一个或多个内核中的每个内核，至少部分地基于与这种内核相关联的内核元素的相应子集的相应值来确定是否修改这种内核以移除内核元素的相应子集。该方法可以包括由一个或多个计算设备修改一个或多个内核中的至少一个内核以移除内核元素的相应子集。

本公开的另一个示例方面针对可以包括一个或多个处理器和机器学习的模型的计算系统。机器学习的模型可以包括卷积神经网络，该卷积神经网络包括具有多个内核的多个卷积层。机器学习的模型可以被配置为接收模型输入并响应于模型输入的接收而输出模型输出。计算系统可以包括共同存储指令的一种或多种非暂态计算机可读介质，这些指令在由一个或多个处理器执行时使计算系统执行操作。操作可以包括获得描述卷积神经网络的数据。卷积神经网络可以包括被配置为使用多个内核执行卷积的多个卷积层。多个内核中的每个内核可以包括多个内核元素。操作可以包括，对于一个或多个训练迭代，使用包括组稀疏正则化项的损失函数来训练卷积神经网络，该组稀疏正则化项被配置为稀疏卷积神经网络的多个内核中的一个或多个内核中的每个内核的内核元素的相应子集。操作可以包括，在至少一个训练迭代之后，针对一个或多个内核中的每个内核，至少部分地基于与这种内核相关联的内核元素的相应子集的相应值来确定是否修改这种内核的相应尺寸以移除内核元素的相应子集。操作可以包括修改一个或多个内核中的至少一个内核的相应尺寸以移除内核元素的相应子集。