[发明专利]一种神经网络模型的量化方法、装置及计算机可读存储介质

权利要求书

1.一种神经网络模型的量化方法，其特征在于，包括：

确定神经网络模型中系数分布异常的目标卷积核；

对所述目标卷积核进行拆分，得到多个子卷积核；

对所述多个子卷积核分别进行量化以得到多个量化卷积核，并利用所述多个量化卷积核替代所述目标卷积核。

2.由权利要求1所述的方法，其特征在于，所述确定神经网络模型中系数分布异常的目标卷积核，还包括：

获取所述神经网络模型中的任意一个待量化卷积核；

根据所述待量化卷积核包含的多个系数的系数分布标准差确定第一阈值；

确定所述待量化卷积核包含的多个系数中的最大值和/或最小值与均值之间的差值；

当所述差值超过所述第一阈值，确定所述待量化卷积核为所述目标卷积核。

3.由权利要求1所述的方法，其特征在于，对所述目标卷积核进行拆分，还包括：

确定所述目标卷积核中的异常分布系数；

根据所述异常分布系数对所述目标卷积核进行拆分。

4.由权利要求3所述的方法，其特征在于，确定所述目标卷积核中的异常分布系数，还包括：

根据所述目标卷积核包含的多个系数的系数分布标准差而确定第二阈值；

根据所确定的第二阈值确定所述目标卷积核中的异常分布系数。

5.由权利要求3所述的方法，其特征在于，根据所述异常分布系数对所述目标卷积核进行拆分，还包括：

将所述目标卷积核中的异常分布系数进行分解，得到非异常的多个分解系数；

利用所述多个分解系数形成多个分组，其中每个分组包含所述多个分解系数的任意一个分解系数；

将所述目标卷积核中的多个非异常分布系数分别划分至所述多个分组中，其中每个分组包含至少一个所述非异常分布系数；

利用所述多个分组中的所述非异常分布系数和所述分解系数形成所述多个子卷积核。

6.由权利要求5所述的方法，其特征在于，将所述目标卷积核中的异常分布系数进行分解，得到非异常的多个分解系数，还包括：

利用二分法对所述异常分布系数进行至少一次对半分解，直至得到所述非异常的多个分解系数，其中利用所述第二阈值判断所述多个分解系数是否非异常。

7.由权利要求5所述的方法，其特征在于，将所述目标卷积核中的多个非异常分布系数分别划分至所述多个分组中，还包括：

基于均匀抽取操作将所述多个非异常分布系数分别划分至所述多个分组中，使所述多个子卷积核中的系数分布均匀。

8.由权利要求1所述的方法，其特征在于，对所述多个子卷积核分别进行量化，还包括：

根据所述多个子卷积核的系数分布确定量化边界；

根据所确定的量化边界和目标量化位宽对所述多个子卷积核分别进行线性量化。

9.一种神经网络模型的量化装置，其特征在于，包括：

确定模块，用于确定神经网络模型中系数分布异常的目标卷积核；

拆分模块，用于对所述目标卷积核进行拆分，得到多个子卷积核；

量化模块，用于对所述多个子卷积核分别进行量化以得到多个量化卷积核，并利用所述多个量化卷积核替代所述目标卷积核。

10.由权利要求9所述的装置，其特征在于，所述确定模块还用于：

获取所述神经网络模型中的任意一个待量化卷积核；

根据所述待量化卷积核包含的多个系数的系数分布标准差确定第一阈值；

确定所述待量化卷积核包含的多个系数中的最大值和/或最小值与均值之间的差值；

当所述差值超过所述第一阈值，确定所述待量化卷积核为所述目标卷积核。

11.由权利要求9所述的装置，其特征在于，所述拆分模块还用于：

确定所述目标卷积核中的异常分布系数；

根据所述异常分布系数对所述目标卷积核进行拆分。