[发明专利]基于特征值区域的动态量化方法、系统及介质

权利要求书

1.一种基于特征值区域的动态量化方法，其特征在于，包括：

步骤1：定位输入特征图中的敏感区域和非敏感区域；

步骤2：对敏感区域和非敏感区域执行混合精度卷积；

步骤3：将卷积结果提供给激活层和池化层；

步骤4：在不同敏感度区域之间进行切换。

2.根据权利要求1所述的基于特征值区域的动态量化方法，其特征在于，所述步骤1包括：

步骤1.1：使用一个全为1的卷积核对输入特征图进行均值滤波；

步骤1.2：与预设阈值进行比较，产生二进制掩码；

步骤1.3：根据二进制掩码，区分输入特征图中的敏感区域和非敏感区域。

3.根据权利要求2所述的基于特征值区域的动态量化方法，其特征在于，所述步骤1.2包括：

步骤1.2.1：获取每个输入特征图的值分布；

步骤1.2.2：根据值分布选择阈值；

步骤1.2.3：根据阈值确定敏感区域后，对神经网络模型进行重新训练，获得神经网络准确率；

步骤1.2.4：评估准确率是否满足预期要求；

如果满足，则确定阈值；

如果不满足，则返回步骤1.2.1，继续执行，直到找到满足预期要求的阈值。

4.根据权利要求2所述的基于特征值区域的动态量化方法，其特征在于，所述步骤1.3包括：给定具有c个通道的h×w维度的输入特征图，将输入特征图从FP32量化为INTn；其中，n表示：n位整型数据；m表示：m位整型数据；

对每个输入通道，分成几个m×m区域；

对每个区域，使用全1的m×m卷积核经均值滤波后执行点积，产生一个输出值，最终得到个输出值；

若该区域的输出值大于预定的阈值，则该区域是敏感的；

将所有输出值与阈值进行比较，识别特征图中的所有敏感区域；

最终生成c张二进制掩码图，每张图的尺寸为其中“1”表示该区域是敏感的，“0”表示该区域是不敏感的。

5.根据权利要求1所述的基于特征值区域的动态量化方法，其特征在于，所述步骤2包括：

根据混合精度卷积，在运行时根据输入特征图的敏感度调整卷积核的精度；

当卷积核滑过敏感区域时，卷积进入预设高精度模式；

卷积在非敏感区域时采用预设低精度模式；

定义INTn卷积为高精度，INTm卷积为低精度；其中，n表示：n位整型数据；m表示：m位整型数据；

在内存中以INTn形式存储权重；

输入特征图的值根据敏感性以INTn或者INTm形式存储；

当卷积核滑过敏感区域时，采用全INTn形式的权重和输入特征图执行n-bit卷积。

6.根据权利要求5所述的基于特征值区域的动态量化方法，其特征在于，当输入特征图的值以INTm形式存储在内存中，卷积核滑过不敏感区域时，将权重值转换为INTm形式并执行INTm卷积。

7.根据权利要求1所述的基于特征值区域的动态量化方法，其特征在于，所述步骤4包括：在区域边界的连接处采用零填充，给定一个大小为nn的区域，内核大小为mm，采用零填充之后区域大小变为(n+m-1)(n+m-1)；

根据两个区域的敏感度，分别采用n-bit或m-bit的卷积核做卷积。

8.根据权利要求1所述的基于特征值区域的动态量化方法，其特征在于，所述步骤4包括：在连接处采用混合精度内核，在敏感区域使用n-bit的权重做卷积运算，同时在非敏感区域使用m-bit的权重做卷积运算。

9.一种基于特征值区域的动态量化系统，其特征在于，包括：

模块M1：定位输入特征图中的敏感区域和非敏感区域；

模块M2：对敏感区域和非敏感区域执行混合精度卷积；

模块M3：将卷积结果提供给激活层和池化层；

模块M4：在不同敏感度区域之间进行切换。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。