[发明专利]基于语义分割神经网络模型的任意比特量化方法及设备

说明书

本发明提供一种基于语义分割神经网络模型的任意比特量化方法及设备。基于语义分割神经网络模型的任意比特量化方法，包括：于预训练的语义分割浮点网络模型的设置多个伪量化节点，所述伪量化节点用于采集量化信息，所述预训练的语义分割浮点网络模型的输入、各层输入以及权重以浮点数表示；对设置后的语义分割浮点网络模型进行量化感知训练；将所述语义分割浮点网络模型转化为语义分割定点网络模型，所述语义分割定点网络模型的输入、各层输入以及权重以指定比特的定点数表示。本发明对模型进行量化，使得模型在推理时使用指定比特的定点数进行计算，能够更好的适配到嵌入式和FPGA平台上的同时，保证运算速度且提高模型的精度。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于语义分割神经网络模型的任意比特量化方法及设备。

背景技术

随着计算机与信息技术的不断演进，机器学习以及模式识别已成为近几年来最炙手可热的领域之一。各种深度学习模型也在大量的涌现，当模型在端设备上部署时，对模型的大小，以及推理速度，精度提出了很高的要求。现有的技术无法兼顾大小，速度，时延，以及精度。

由此，如何对模型进行量化，使得模型在推理时使用指定比特的定点数进行计算，能够更好的适配到嵌入式和FPGA平台上的同时，保证运算速度且提高模型的精度，是本领域亟待解决的技术问题。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种基于语义分割神经网络模型的任意比特量化方法及设备，以对模型进行量化，使得模型在推理时使用指定比特的定点数进行计算，能够更好的适配到嵌入式和FPGA平台上的同时，保证运算速度且提高模型的精度。

根据本发明的一个方面，提供一种基于语义分割神经网络模型的任意比特量化方法，包括：

于预训练的语义分割浮点网络模型的设置多个伪量化节点，所述伪量化节点用于采集量化信息，所述预训练的语义分割浮点网络模型的输入、各层输入以及权重以浮点数表示；

对设置后的语义分割浮点网络模型进行量化感知训练；

将所述语义分割浮点网络模型转化为语义分割定点网络模型，所述语义分割定点网络模型的输入、各层输入以及权重以指定比特的定点数表示。

在本申请的一些实施例中，所述伪量化节点设置于所述预训练的语义分割浮点网络模型的各层，所述伪量化节点包括：输入量化节点、权重量化节点、算子量化节点以及输出反量化节点。

在本申请的一些实施例中，所述输入量化节点按如下步骤量化：

根据输入浮点数的所有元素的最大值和最小值、量化区间的最大值和最小值计算缩放因子和零点偏差；

根据所述缩放因子和零点偏差将所述输入浮点数转换为指定比特的输入定点数。

在本申请的一些实施例中，所述权重量化节点按与所述输入量化节点相同的方式量化权重浮点数。

在本申请的一些实施例中，所述算子量化节点为卷积量化节点，所述卷积量化节点根据如下公式进行卷积量化：

其中，x_q是卷积量化节点的卷积层的指定比特的输入定点数，w_q是卷积量化节点的卷积层的指定比特的权重定点数，y_q是卷积量化节点的卷积层的指定比特的输出定点数，S_x/float是输入定点数对应的缩放系数，S_w/float是权重定点数对应的缩放系数，S_y/float是输出定点数对应的缩放系数，M是输入定点数和输出定点数的缩放系数的比值。

在本申请的一些实施例中，所述算子量化节点为加法量化节点，所述加法量化节点根据如下公式进行加法量化：