[发明专利]混合精度神经网络

说明书

本公开的实施例涉及混合精度神经网络。用于机器学习(ML)模型的混合精度量化技术。对于ML模型(114)，接收目标带宽增加(302)，ML模型(114)包括由第一位数目表示的第一数据类型的对象。目标带宽增加涉及将对象的第一部分改变为由不同于第一位数目的第二位数目表示的第二数据类型(310)。方法进一步包括基于带宽对ML模型中的对象进行排序(304)。方法进一步包括：基于目标带宽增加和多个对象的排序来标识对象的第一部分，以从第一数据类型改变为第二数据类型(508)。方法进一步包括将对象的第一部分从第一数据类型改变为第二数据类型(508)。

技术领域

本公开涉及机器学习，并且更具体地涉及使用以不止一个精度表示的值的神经网络。

背景技术

神经网络和其他机器学习(ML)模型可以包括表示数值的变量。这些数值通常被表示为浮点数据类型。例如，浮点值通常用于表示：(1)网络中某个层(诸如卷积或内积)的权重或学习值，以及(2)特征图，也被称为激活或二进制大对象(BLOB)。这些权重和BLOB可以用于例如神经网络中给定层的输出以及后续层的输入。

然而，以浮点值执行神经网络在计算上可能是昂贵的(例如，执行可能较慢，并且功率密集)。许多神经网络包括大量的浮点值，并且浮点算术通常较慢并且消耗功率。另外，浮点数据类型通常为32位或更大，因此加载和存储这种值需要存储空间并且需要时间。因此，使用浮点值可能会抑制神经网络在可用计算资源较少或功率受限的设备(包括诸如智能手机和平板电脑的边缘设备)上的执行。

发明内容

实施例包括一种方法。该方法包括：接收针对机器学习(ML)模型的目标带宽增加，ML模型包括由第一位数目表示的第一数据类型的多个对象。目标带宽增加涉及将多个对象的第一部分改变为由不同于第一位数目的第二位数目表示的第二数据类型。方法还包括基于带宽对ML模型中的多个对象进行排序。方法还包括：基于目标带宽增加和多个对象的排序，标识多个对象的第一部分以从第一数据类型改变为第二数据类型。方法还包括将多个对象的第一部分从第一数据类型改变为第二数据类型。

实施例还包括一种系统，系统包括处理器和存储指令的存储器，该指令在由处理器执行时，使处理器执行操作。操作包括：接收针对神经网络的目标带宽增加，神经网络包括由第一位数目表示的第一数据类型的多个二进制大对象(BLOB)和权重。目标带宽增加涉及：将多个BLOB和权重中的至少一些改变为由不同于第一位数目的第二位数目表示的第二数据类型。操作还包括：基于目标带宽增加，标识多个BLOB和权重的第一部分，以从第一数据类型改变为第二数据类型。操作还包括将多个BLOB和权重的第一部分从第一数据类型改变为第二数据类型。

实施例还包括非暂态计算机可读介质，其包括所存储的指令，该指令在由处理器执行时，使处理器执行操作。操作包括：接收针对机器学习(ML)模型的目标性能改变，ML模型包括由第一位数目表示的第一数据类型的多个对象。目标性能改变涉及：将多个对象中的至少一些改变为由不同于第一位数目的第二位数目表示的第二数据类型。操作还包括基于大小对ML模型中的多个对象进行排序。操作还包括：基于目标性能改变和对多个对象的排序，标识多个对象的第一部分以从第一数据类型改变为第二数据类型。操作还包括将多个对象的第一部分从第一数据类型改变为第二数据类型。操作还包括：使用ML模型(包括将多个对象的第一部分改变为第二数据类型)来推断一个或多个输入的结果。

附图说明

通过下面给出的详细描述和本文描述的示例的附图，将更全面地理解本公开。附图用于提供本文描述的示例的知识和理解，并且不将本公开的范围限制为这些特定示例。此外，附图不必按比例绘制。

图1图示了根据一个实施例的将混合精度值用于ML模型。

图2图示了根据一个实施例的用于将混合精度值用于ML模型的ML训练服务器和混合精度量化服务器。

图3是根据一个实施例的用于将混合精度值用于ML模型的流程图。