[发明专利]专用于CNN加速器的深度学习编译器优化方法

权利要求书

1.一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，包括以下步骤：

S1，通过算子融合和/或bn融合的优化方法减少加速器对内存的访问以及存储空间的浪费，同时使用内存分配地址叠加的方式避免各张量之间的数据覆盖；

S2，采用固定硬件下的多种模型量化部署方案，通过融合非对称量化的偏移和卷积偏置；同时通过编译器与加速器的协同优化，将DSP的输入数据配置为两个数的移位相加从而在一个DSP中同时进行两次乘法运算，最终实现编译器对可变位宽量化的支持。

2.根据权利要求1所述的一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，所述S2包括以下步骤：

S2-1，运行校准集，获取特征图的动态分布范围；

S2-2，检测量化位宽选项，判断是否为INT8或INT16，如果是INT8则采用输入移位相加或权重移位相加；

S2-3，遍历计算图并判断特征图之间是否有跳跃连接的关系，如果有，则进行缩放因子和偏移的统一；

S2-4，检测量化编译形式选项，根据上一步INT8或INT16的选择计算出缩放因子scale和零点偏移，如果为非对称量化，将偏置和偏移进行融合。

3.根据权利要求2所述的一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，所述偏置和偏移进行融合包括：

对于非对称量化，卷积计算过程的量化公式为：

其中q₁、q₂、q₃、分别表示输入定点数、权重定点数、输出定点数；

S₁、S₂、S₃分别为输入的缩放因子、权重的缩放因子、输出的缩放因子；

Z₁、Z₂、Z₃分别为输入的偏移、权重的偏移和输出的偏移；

2^-n表示右移n位操作；

M₀为整数；

∑表示卷积求和；

B′表示新的偏置；

round(·)表示四舍五入取整；

bias表示偏置。

4.根据权利要求2所述的一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，所述输入移位相加包括：

相邻式输入移位相加：与下一个相邻输出点对应同一位置的输入值进行数据移位相加后再送进处理引擎PE，计算的结果经过拆分将会对应输出特征图上两个相邻的输出点；下一组输出的步长为2，相对应的输入特征图的步长也为2；

或对半式输入移位相加：输出特征图的上下均分，会跨越式的读取下半张输出特征图对应的输入数据，而上下输入点之间的距离是固定的，此时输入的偏移步长为1，循环的行数OH减半；

所述权重移位相加包括：相邻两个卷积核上同一位置的权重进行移位相加后送进PE的权重通道，做完计算后的结果拆分对应于输出特征图同一位置上的两个相邻通道值，单个卷积核的计算流程不变，此时卷积核的数量OC减半。

5.根据权利要求4所述的一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，所述权重移位相加还包括：对于有符号数的移位相加时，将PE的输出结果按位数均匀拆分为高位数据和低位数据，高位数据需加上低位数据的符号位。

6.根据权利要求4所述的一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，还包括：

在脉动阵列中每个PE单元会累加上一个PE的输出结果，然后送入下一个PE单元继续进行累加，增加一个溢出位用于兼容数据累加的进位。

7.根据权利要求1所述的一种专用于CNN加速器的深度学习编译器优化方法，其特征在于，还包括：采用优化卷积循环平铺和循环重排的调度策略来提升加速器的性能，首先外循环顺序采用枚举的方式，不同的外循环之间通过多线程的形式进行循环平铺尺寸空间探索，循环平铺的尺寸同样用枚举的形式从而得到每个缓存对应的分块数据大小，然后根据FPGA硬件的信息去计算该种方式消耗的时钟周期，最终通过比较采用消耗时钟周期最小的循环调度方案。