[发明专利]神经网络压缩

说明书

训练神经网络模型，其中训练包括多个训练迭代。在训练迭代中的一个特定训练迭代的前向轮次期间，对神经网络的特定层的权重进行修剪。在特定训练迭代的相同前向轮次期间，对特定层的权重值进行量化以确定用于特定层的经量化‑稀疏化的权重子集。至少部分地基于经量化‑稀疏化的权重子集通过训练来生成神经网络模型的压缩版本。

相关申请

本申请要求于2018年12月18日提交的美国临时专利申请序列号62/781,299的权益，该申请通过引用以其整体并入本文。

技术领域

本公开总体上涉及计算机系统领域，并且更具体地涉及用于压缩资源受限计算系统的神经网络模型。

背景技术

随着增强现实(AR)、虚拟现实(VR)和混合现实(MR)产品(诸如来自MagicLeap^TM、Microsoft^TM HoloLens^TM、Oculus^TM Rift^TM和其他VR系统(诸如来自Valve^TM和HTC^TM的VR系统))的出现，计算机视觉和图形世界正在快速地汇聚。此类系统中的现有方法是使用并行运行的单独的图形处理单元(GPU)和计算机视觉子系统。这些并行系统可以从与计算机视觉流水线并行的预先存在的GPU组装，该计算机视觉流水线以运行在处理器和/或可编程硬件加速器的阵列上的软件实现。此类硬件可以利用机器学习模型，诸如与机器学习相结合的卷积神经网络(CNN)和与计算机视觉应用相结合地执行的人工智能操作。

附图说明

当结合以下附图考虑时，参考所公开主题的以下详细描述，可以更全面地理解所公开的主题的各种目标、特征和优点，在附图中相同的参考号标识相同的要素。附图是示意性地并且不旨在按比例绘制。为了清楚起见，并非每一个组件在每一个图中都被标记。在不需要图示来允许本领域普通技术人员理解所公开的主题的情况下，也不是所公开的主题的每一个实施例的每一个组件都被示出。

图1图示出包括资源受限计算设备和主机计算系统的示例系统；

图2图示出包括用于准备神经网络模型的压缩版本的预处理系统的示例系统；

图3图示出示例神经网络模型的压缩；

图4图示出包括示例神经网络模型的层的稀疏化和量化的示例压缩；

图5示出了比较神经网络模型的示例压缩的示例图；

图6是用于压缩神经网络模型的示例技术的流程图；

图7是根据至少一些实施例的具有设备的示例性网络的简化框图；

图8是根据至少一些实施例的示例性雾或云计算网络的简化框图；

图9是根据至少一些实施例的包括示例设备的系统的简化框图；

图10是根据至少一些实施例的示例处理设备的简化框图；

图11是根据至少一些实施例的示例性处理器的框图；

图12是根据至少一些实施例的示例机器学习设备的简化框图；以及

图13是根据至少一些实施例的示例性计算系统的框图。

具体实施方式

在以下描述中，阐述了与所公开的主题的系统和方法以及此类系统和方法可以在其中进行操作的环境等相关的许多具体细节，以便提供对所公开的主题的透彻理解。然而，对于本领域技术人员将是显而易见的是，可以在没有这些具体细节的情况下实践所公开的主题，并且不详细描述在本领域中是众所周知的某些特征，以便避免复杂化所公开的主题。此外，将会理解，下文所提供的实施例是示例性的，并且构想了存在所公开的主题的范围内的其他系统和方法。