[发明专利]模型优化部署方法、系统、设备及存储介质

权利要求书

1.一种模型优化部署方法，其特征在于，包括：

对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；

对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；

加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理运算处理。

2.根据权利要求1所述的方法，其特征在于，所述对卷积神经网络进行模型优化，包括：

将卷积神经网络的模型结构中标准卷积用分组卷积进行替代；

对模型进行图优化以将模型中的批归一化层融合至卷积层，以及对图优化后的模型进行高位量化；或者对模型进行图优化以将模型中用于调整低位量化误差的缩放因子及批归一化层融合至卷积层。

3.根据权利要求2所述的方法，其特征在于，将对模型进行图优化之前，还包括：

在保持分组卷积结构的情况下，对分组卷积的模型进行剪枝。

4.根据权利要求3所述的方法，其特征在于，所述对分组卷积的模型进行剪枝，具体包括：

对含有分组卷积的卷积神经网络进行稀疏训练；

根据批归一化层的缩放因子和剪枝率确定冗余卷积核并对其进行剪枝；

根据精度要求，对剪枝后的模型进行微调。

5.根据权利要求4所述的方法，其特征在于，所述根据批归一化层的缩放因子和剪枝率确定冗余卷积核并对其进行剪枝，包括：

对模型的所有批归一化层的缩放因子排序；

根据预设的剪枝率确定对应的缩放因子阈值；

基于缩放因子阈值对各层卷积核进行临时剪枝；

若临时剪枝后的模型仍保持分组卷积结构，则直接输出，若临时剪枝后的模型不能保持分组卷积结构，则对临时剪枝后的模型进行调整直至模型能够保持分组卷积结构后再输出。

6.根据权利要求2所述的方法，其特征在于，所述对模型进行图优化以将模型中用于调整低位量化误差的缩放因子及批归一化层融合至卷积层之前，还包括:

对模型中的权重进行低位量化。

7.根据权利要求1～6中任一项所述的方法，其特征在于，对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件，包括：

将优化后的卷积神经网络的参数映射到拓扑结构相同的脉冲神经网络；

对映射后的脉冲神经网络参数进行仿真验证；

将验证正确的脉冲神经网络参数转换成脉冲神经网络芯片上可运行的参数配置文件。

8.根据权利要求1～6中任一项所述的方法，其特征在于，所述加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理运算处理之前，还包括：

对输入的原始数据进行预处理，并进行格式转换，获取待处理数据；

所述加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理运算处理之后，还包括：

将推理运算处理获得的数据进行数据后处理，获取数据处理结果。

9.一种模型优化部署系统，其特征在于，包括：

模型优化模块，用于对卷积神经网络进行模型优化，获取适配脉冲神经网络的卷积神经网络；

参数编译模块，用于对优化后的卷积神经网络的参数进行编译，获取在脉冲神经网络芯片上可运行的参数配置文件；以及

系统部署模块，用于加载参数配置文件以使脉冲神经网络芯片对输入的待处理数据进行推理运算处理。