[发明专利]一种神经网络模型的量化方法、装置及计算机可读存储介质

说明书

本发明提供了一种神经网络模型的量化方法、装置及计算机可读存储介质，该方法包括：确定神经网络模型中系数分布异常的目标卷积核；对目标卷积核进行拆分，得到多个子卷积核；对多个子卷积核分别进行量化以得到多个量化卷积核，并利用多个量化卷积核替代目标卷积核。利用上述方法，能够减少量化误差。

技术领域

本发明属于神经网络计算领域，具体涉及一种神经网络模型的量化方法、装置及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，深度神经网络的规模越来越大，进而导致训练出的神经网络模型中包含大量的参数，这些参数的存储和传输使得运算成本和功耗非常大。这些缺点尤其会限制将神经网络模型部署或应用到边缘设备或低功耗设备。

为了解决神经网络模型的运算量过大的问题，通常可以采用对训练出的神经网络模型的系数进行量化的方法。然而现有技术中，对神经网络模型的量化方案仍然不够完善，容易导致量化误差过大等问题，影响神经网络模型的运算效果。

发明内容

针对上述现有技术对神经网络模型进行量化时容易导致量化误差过大的问题。本发明实施例提出了一种神经网络模型的量化方法、装置及计算机可读存储介质，利用这种方法及装置，能够解决上述问题。

本发明的实施例中提供了以下方案。

一方面，提供了一种神经网络模型的量化方法，包括：确定神经网络模型中系数分布异常的目标卷积核；对目标卷积核进行拆分，得到多个子卷积核；对多个子卷积核分别进行量化以得到多个量化卷积核，并利用多个量化卷积核替代目标卷积核。

在一些可能的实施方式中，确定神经网络模型中系数分布异常的目标卷积核，还包括：获取神经网络模型中的任意一个待量化卷积核；根据待量化卷积核包含的多个系数的系数分布标准差确定第一阈值；确定待量化卷积核包含的多个系数中的最大值和/或最小值与均值之间的差值；当差值超过第一阈值，确定待量化卷积核为目标卷积核。

在一些可能的实施方式中，对目标卷积核进行拆分，还包括：确定目标卷积核中的异常分布系数；根据异常分布系数对目标卷积核进行拆分。

在一些可能的实施方式中，确定目标卷积核中的异常分布系数，还包括：根据目标卷积核包含的多个系数的系数分布标准差而确定第二阈值；根据所确定的第二阈值确定目标卷积核中的异常分布系数。

在一些可能的实施方式中，根据异常分布系数对目标卷积核进行拆分，还包括：将目标卷积核中的异常分布系数进行分解，得到非异常的多个分解系数；利用多个分解系数形成多个分组，其中每个分组包含多个分解系数的任意一个分解系数；将目标卷积核中的多个非异常分布系数分别划分至多个分组中，其中每个分组包含至少一个非异常分布系数；利用多个分组中的非异常分布系数和分解系数形成多个子卷积核。

在一些可能的实施方式中，将目标卷积核中的异常分布系数进行分解，得到非异常的多个分解系数，还包括：利用二分法对异常分布系数进行至少一次对半分解，直至得到非异常的多个分解系数，其中利用第二阈值判断多个分解系数是否非异常。

在一些可能的实施方式中，将目标卷积核中的多个非异常分布系数分别划分至多个分组中，还包括：基于均匀抽取操作将多个非异常分布系数分别划分至多个分组中，使多个子卷积核中的系数分布均匀。

在一些可能的实施方式中，对多个子卷积核分别进行量化，还包括：根据多个子卷积核的系数分布确定量化边界；根据所确定的量化边界和目标量化位宽对多个子卷积核分别进行线性量化。