[发明专利]一种网络模型的量化方法、装置、设备和存储介质

权利要求书

1.一种网络模型的量化方法，包括：

采用裁剪参数对网络模型中网络层输出的特征点的特征值进行裁剪；

对裁剪后的特征值进行量化；

确定网络模型的损失函数，并根据网络模型的损失函数对网络模型中的网络参数和所述裁剪参数进行更新。

2.根据权利要求1所述的方法，所述采用裁剪参数对网络模型中网络层输出的特征点的特征值进行裁剪之前，还包括：

针对可量化的每一网络层，确定该网络层的裁剪参数的至少两个候选初始值；

采用候选初始值对该网络层输出的特征点的特征值进行裁剪，且对裁剪后的特征值进行量化，得到候选初始值关联的模型量化输出；

根据候选初始值关联的模型量化输出和模型原输出之间的差值，确定所述候选初始值的网络输出差异度量；

根据所述候选初始值的网络输出差异度量，从所述候选初始值中选择该网络层的裁剪参数的目标初始值。

3.根据权利要求2所述的方法，其中，所述根据候选初始值关联的模型量化输出和模型原输出之间的差值，确定所述候选初始值的网络输出差异度量，包括：

针对每一条业务数据，将候选初始值关联的模型量化输出和模型原输出之间差值的绝对值作为该条业务数据的网络输出差异；

将各条业务数据的网络输出差异的平均值，作为所述候选初始值的网络输出差异度量。

4.根据权利要求3所述的方法，其中，所述针对每一条业务数据，将候选初始值关联的模型量化输出和模型原输出之间差值的绝对值作为该条业务数据的网络输出差异，包括：

针对每一条业务数据，将该条业务数据作为网络模型的输入，得到该网络层输出的特征点的特征值；

采用候选初始值对该网络层输出的特征点的特征值进行裁剪，且对裁剪后的特征值进行量化，得到该条业务数据的模型量化输出；

将该条业务数据作为网络模型的输入，得到该条业务数据的模型原输出；

将该条业务数据的模型量化输出和模型原输出之间的差值的绝对值，作为该条业务数据的网络输出差异。

5.根据权利要求2所述的方法，其中，确定该网络层的裁剪参数的至少两个候选初始值，包括：

采用业务数据作为网络模型的输入，得到该网络层输出的特征点的特征值；

从该网络层输出的特征点的特征值中选择最大特征值；

根据最大特征值和候选系数，确定候选初始值。

6.一种网络模型的量化装置，包括：

裁剪模块，用于采用裁剪参数对网络模型中网络层输出的特征点的特征值进行裁剪；

量化模块，用于对所述裁剪模块裁剪后的特征值进行量化；

更新模块，用于确定网络模型的损失函数，并根据网络模型的损失函数对网络模型中的网络参数和所述裁剪参数进行更新。

7.根据权利要求6所述的装置，还包括：

确定模块，用于针对可量化的每一网络层，确定该网络层的裁剪参数的至少两个候选初始值；

所述裁剪模块，还用于采用候选初始值对该网络层输出的特征点的特征值进行裁剪，且所述量化模块还用于对所述裁剪模块裁剪后的特征值进行量化，得到候选初始值关联的模型量化输出；

所述确定模块，还用于根据候选初始值关联的模型量化输出和模型原输出之间的差值，确定所述候选初始值的网络输出差异度量；

选择模块，用于根据所述候选初始值的网络输出差异度量，从所述候选初始值中选择该网络层的裁剪参数的目标初始值。

8.根据权利要求7所述的装置，所述确定模块包括：

输出差异单元，用于针对每一条业务数据，将候选初始值关联的模型量化输出和模型原输出之间差值的绝对值作为该条业务数据的网络输出差异；

平均值单元，用于将各条业务数据的网络输出差异的平均值，作为所述候选初始值的网络输出差异度量。