[发明专利]混合精度神经网络

权利要求书

1.一种方法，包括：

接收针对机器学习ML模型的目标带宽增加，所述ML模型包括由第一位数目表示的第一数据类型的多个对象，其中所述目标带宽增加涉及将所述多个对象的第一部分改变为由不同于所述第一位数目的第二位数目表示的第二数据类型；

基于带宽，对所述ML模型中的所述多个对象进行排序；

基于所述目标带宽增加和所述多个对象的所述排序，标识所述多个对象的所述第一部分，以从所述第一数据类型改变为所述第二数据类型；以及

由处理器将所述多个对象的所述第一部分从所述第一数据类型改变为所述第二数据类型。

2.根据权利要求1所述的方法，其中所述ML模型包括神经网络，并且其中所述多个对象包括多个权重和多个二进制大对象BLOB。

3.根据权利要求1所述的方法，其中所述第一数据类型包括由所述第一位数目表示的第一整数数据类型，其中所述第二数据类型包括由所述第二位数目表示的第二整数数据类型，并且其中所述第二位数目大于所述第一位数目。

4.根据权利要求1所述的方法，其中所述目标带宽增加还涉及将所述多个对象中的至少一些对象改变为由大于所述第二位数目的第三位数目表示的第三数据类型，所述方法还包括：

基于所述目标带宽增加和对所述多个对象的所述排序，标识所述多个对象的第二部分，以从所述第一数据类型改变为所述第三数据类型；以及

将所述多个对象的所述第二部分从所述第一数据类型改变为所述第三数据类型。

5.根据权利要求4所述的方法，其中所述第一数据类型包括浮点数据类型，其中所述第二数据类型包括第一整数数据类型，并且其中所述第三数据类型包括第二整数数据类型。

6.根据权利要求1所述的方法，其中对所述基于带宽对所述ML模型中的所述多个对象进行排序包括：基于大小对所述多个对象进行排序。

7.根据权利要求6所述的方法，其中所述ML模型包括神经网络，并且其中对所述ML模型中的所述多个对象进行排序还基于相应对象与表示所述神经网络的网络图的根的接近度。

8.一种系统，包括：

处理器；以及

存储器，存储指令，所述指令在由所述处理器执行时，使所述处理器执行操作，所述操作包括：

接收针对神经网络的目标带宽增加，所述神经网络包括由第一位数目表示的第一数据类型的多个二进制大对象BLOB和权重，其中所述目标带宽增加涉及将所述多个BLOB和权重中的至少一些改变为由不同于所述第一位数目的第二位数目表示的第二数据类型；

基于所述目标带宽增加，标识所述多个BLOB和权重的第一部分，以从所述第一数据类型改变为所述第二数据类型；以及

将所述多个BLOB和权重的所述第一部分从所述第一数据类型改变为所述第二数据类型。

9.根据权利要求8所述的系统，其中所述操作还包括：

基于带宽对所述神经网络中的所述多个BLOB和权重进行排序，其中标识所述多个BLOB和权重中的所述第一部分以从所述第一数据类型改变为所述第二数据类型还基于所述多个BLOB和权重的所述排序。

10.根据权利要求8所述的系统，其中所述第一数据类型包括由所述第一位数目表示的第一整数数据类型，并且其中所述第二数据类型包括由所述第二位数目表示的第二整数数据类型。

11.根据权利要求8所述的系统，其中所述目标带宽增加还涉及将所述多个BLOB和权重中的至少一些改变为由小于所述第二位数目的第三位数目表示的第三数据类型，所述操作还包括：

基于所述目标带宽增加，标识所述多个BLOB和权重的第二部分，以从所述第一数据类型改变为所述第三数据类型；以及

将所述多个BLOB和权重的所述第二部分从所述第一数据类型改变为所述第三数据类型。