[发明专利]一种基于弹性有效位的深度神经网络量化方法

权利要求书

1.一种基于弹性有效位的深度神经网络量化方法，其特征在于：将定点数或者浮点数量化为具有弹性有效位数的量化值，丢弃多余的尾数部分；

将量化后的值输入乘法累加器，通过有限个有效位的乘法计算转化为基于有效位的移位加法，最后通过累加操作得到本层的输出结果；

对量化值与原始数据的分布差异，采用可行求解的方式来定量评价：

量化权值为W，其采样自随机变量t～p(t)，所有的量化值得集合为Q，定义分布差异函数如下：

s.t.S＝(q-q_l，q+q_u]

其中(q-q_l，q+q_u]表示可以投影到q值的连续数据的范围，该范围以q为中心，q_l和q_u表示其浮动范围。

2.如权利要求1所述的基于弹性有效位的深度神经网络量化方法，其特征在于：弹性有效位为保留自最高有效位开始，有限个有效位。

3.如权利要求1或2所述的基于弹性有效位的深度神经网络量化方法，其特征在于：对于给定数据v，自其最高有效位的位置，指定k+1个有效位，表示如下：

其中(n-k)到n的部分是保留的有效部分，而0(-∞)到(n-k-1)部分为需要舍入的尾数部分；定点数或者浮点数的量化：

P(v)＝R(v＞＞n-k)＜＜n-k

其中＞＞与＜＜为移位运算，而R()为舍入操作。

4.如权利要求3所述的基于弹性有效位的深度神经网络量化方法，其特征在于：弹性有效位的乘法计算基于有效位数的多级移位累加实现。

5.如权利要求4所述的基于弹性有效位的深度神经网络量化方法，其特征在于：有效位数决定移位加法的级数。

6.如权利要求3所述的基于弹性有效位的深度神经网络量化方法，其特征在于：分布差异用来评估不同弹性有效位数下的最优量化。