[发明专利]一种NMS函数的量化方法、电子设备及介质

说明书

本申请涉及神经网络模型量化技术领域，公开了一种NMS函数的量化方法、电子设备及介质。其中，NMS函数的量化方法包括：获取需要进行交并比计算的第一目标检测框的第一面积数值和第二目标检测框的第二面积数值；将第一面积数值的后第一预设位数的二进制数删除，得到第一目标检测框的第一近似面积数值，并将第二面积数值的后第二预设位数的二进制数删除，得到第二目标检测框的第二近似面积数值；基于第一近似面积数值和第二近似面积数值进行第一目标检测框和第二目标检测框的交并比计算，得到第一目标检测框和第二目标检测框的交并比计算结果。基于上述方案，能够有效减小包含NMS函数的模型的运行内存，提高包含NMS函数的模型的推理速度。

技术领域

本申请涉及神经网络模型量化技术领域，特别涉及一种NMS函数的量化方法、电子设备及介质。

背景技术

目前，随着深度学习技术在多个领域的快速应用，出现了大量的基于深度学习的神经网络模型。但神经网络模型结构一般都较为复杂且所占用的内存较大，因此需要对神经网络模型进行量化压缩以减小内存占用及加快模型的推理速度。

现有的量化算法一般是对训练后的模型进行离线量化，而离线量化的方案目前主要对神经网络模型中前处理阶段中的线性层如卷积层、全连接层的量化，但是对后处理阶段中的后处理函数并没有进行对应的细节量化方案。因此在一定程度上没有使得神经网络模型的推理速度达到更优。

例如，对于非极大值抑制(Non-Maximum Suppression，NMS)函数，作为目标检测模型中常用的后处理函数，一般用于对目标检测模型中的卷积层输出的多个目标检测框进行筛减处理。目前对于NMS函数的处理过程所涉及的数据没有具体的量化方案，因此，对于目前包含NMS函数的目标检测模型，通常没有对NMS函数处理过程所涉及的数据进行量化，使得包含NMS函数的目标检测模型的推理速度难以获得更优。

发明内容

为解决上述对于目前包含NMS函数的目标检测模型，通常没有对NMS函数处理过程所涉及的数据进行量化，使得包含NMS函数的目标检测模型的推理速度难以获得更优的技术问题，本申请实施例提供一种NMS函数的量化方法、电子设备及介质。

第一方面，本申请实施例提供一种NMS函数的量化方法，包括：

获取需要进行交并比计算的第一目标检测框的第一面积数值和第二目标检测框的第二面积数值，所述第一面积数值的数据形式为包括第一位数的二进制数值，所述第二面积数值的数据形式为包括第二位数的二进制数值；

将所述第一面积数值的后第一预设位数的二进制数删除，得到第一目标检测框的第一近似面积数值，并将所述第二面积数值的后第二预设位数的二进制数删除，得到所述第二目标检测框的第二近似面积数值；

基于所述第一近似面积数值和第二近似面积数值进行所述第一目标检测框和所述第二目标检测框的交并比计算，得到所述第一目标检测框和所述第二目标检测框的交并比计算结果。

本申请实施例通过减小目标检测框的面积数值的二进制的位数，减小了包含NMS函数的模型的运行内存，对NMS函数产生了一定的量化效果，且能够提高包含NMS函数的模型的推理速度。

在上述第一方面一种可能的实现中，所述第一预设位数和所述第二预设位数的确定需要满足使得所述第一近似面积数值和所述第二近似面积数值的加和数值的二进制的位数小于等于第三预设位数；

所述第三预设位数为所述NMS函数所部署的处理器能够处理数据的最长位数。

上述方案中通过限定了所述第一预设位数和所述第二预设位数需要满足的条件，即需要满足能够使得最终获得的两个目标检测框的近似面积数值的加和数值的二进制位数能够小于等于运行该包含NMS的目标检测模型的处理器能够处理的数据的最长位数，如此，能够使得在对NMS函数量化的同时有效解决NMS函数的溢出问题。