[发明专利]基于语义分割神经网络模型的任意比特量化方法及设备

权利要求书

1.一种基于语义分割神经网络模型的任意比特量化方法，其特征在于，包括：

于预训练的语义分割浮点网络模型的设置多个伪量化节点，所述伪量化节点用于采集量化信息，所述预训练的语义分割浮点网络模型的输入、各层输入以及权重以浮点数表示；

对设置后的语义分割浮点网络模型进行量化感知训练；

将所述语义分割浮点网络模型转化为语义分割定点网络模型，所述语义分割定点网络模型的输入、各层输入以及权重以指定比特的定点数表示，其中，所述伪量化节点设置于所述预训练的语义分割浮点网络模型的各层，所述伪量化节点包括：输入量化节点、权重量化节点、算子量化节点以及输出反量化节点，所述伪量化节点的算子量化节点为卷积量化节点、加法量化节点以及乘法量化节点中的多种，所述加法量化节点根据如下公式进行加法量化：

z_q＝Z_z/q+M_x,z/float(x_q-Z_x/q)+M_y,z/float(y_q-Z_y/q)

其中，x_q是加法算子的量化形式的一个指定比特的输入定点数，Z_x/q是输入定点数x_q对应的零点偏差，y_q是加法算子的量化形式的另一个指定比特的输入定点数，Z_y/q是输入定点数y_q对应的零点偏差，z_q是加法算子的量化形式的指定比特的输出定点数，Z_z/q是输出定点数z_q对应的零点偏差，M_x,z/float是输入定点数x_q和输出定点数z_q的缩放系数的比值；M_y,z/float是输入定点数y_q和输出定点数z_q的缩放系数的比值。

2.如权利要求1所述的基于语义分割神经网络模型的任意比特量化方法，其特征在于，所述输入量化节点按如下步骤量化：

根据输入浮点数的所有元素的最大值和最小值、量化区间的最大值和最小值计算缩放因子和零点偏差；

根据所述缩放因子和零点偏差将所述输入浮点数转换为指定比特的输入定点数。

3.如权利要求2所述的基于语义分割神经网络模型的任意比特量化方法，其特征在于，所述权重量化节点按与所述输入量化节点相同的方式量化权重浮点数。

4.如权利要求1所述的基于语义分割神经网络模型的任意比特量化方法，其特征在于，所述卷积量化节点根据如下公式进行卷积量化：

y_q＝Z_y/q+[M*conv((x_q-Z_x/q)(w_q-Z_w/q))]

其中，x_q是卷积量化节点的卷积层的指定比特的输入定点数，w_q是卷积量化节点的卷积层的指定比特的权重定点数，y_q是卷积量化节点的卷积层的指定比特的输出定点数，S_x/float是输入定点数对应的缩放系数，S_w/float是权重定点数对应的缩放系数，S_y/float是输出定点数对应的缩放系数，M是输入定点数和输出定点数的缩放系数的比值。

5.如权利要求2所述的基于语义分割神经网络模型的任意比特量化方法，其特征在于，所述乘法量化节点根据如下步骤进行乘法量化：

将浮点乘法系数转换为定点乘法系数；

根据所述定点乘法系数进行定点乘法。

6.如权利要求1至5任一项所述的基于语义分割神经网络模型的任意比特量化方法，其特征在于，所述语义分割定点网络模型的输入、各层输入以及权重为整数，所述语义分割定点网络模型部署至现场可编程门阵列或嵌入式平台。