[发明专利]模型加速方法、装置、集成电路和存储介质

说明书

本申请涉及一种模型加速方法、装置、集成电路、存储介质和计算机程序产品。所述方法包括：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。采用本方法能够提升深度神经网络的推理效率。

技术领域

本申请涉及电子电路技术领域，特别是涉及一种模型加速方法、装置、集成电路、存储介质和计算机程序产品。

背景技术

在数据处理过程中，例如利用深度神经网络进行图像数据处理，需要进行大量的卷积计算，在此过程中，集成电路发挥了重要作用。由于部分场景的深度神经网络搭载平台的性能有限，所以需要降低神经网络模型的计算量。

传统技术中，卷积计算量一般占深度神经网络的总计算量的90%，通常使用量化的方式降低深度神经网络的计算精度，但是，对于深度神经网络来说，这种方法仍需要消耗大量的计算资源和运行时间，使得对深度神经网络的推理速度的加速效果较为一般。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提升深度神经网络的推理效率的模型加速方法、装置、集成电路、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种模型加速方法。所述方法包括：

根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；

根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；

根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。

在其中一个实施例中，根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：

当所述训练后的待加速模型的激活函数类型为单一处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为卷积、激活和量化操作融合方式；

所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：

利用所述训练后的待加速模型的激活系数和量化系数，对所述训练后的待加速模型的卷积权重进行融合，得到融合后的卷积权重；

利用所述训练后的待加速模型的激活系数、量化系数和量化偏置值，对所述训练后的待加速模型的卷积偏置值进行融合，得到融合后的卷积偏置值；

将所述融合后的卷积权重和所述融合后的卷积偏置值，作为所述卷积、激活和量化操作融合方式的融合结果。

在其中一个实施例中，根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果，包括：

对所述卷积数据进行卷积推理处理，并将所述卷积推理处理中所调用的卷积权重和卷积偏置值，分别对应更新为所述融合后的卷积权重和所述融合后的卷积偏置值，得到所述卷积数据的卷积推理结果；

将所述卷积推理结果，作为所述推理加速结果。

在其中一个实施例中，根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：

当所述训练后的待加速模型的激活函数类型为分段处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为激活和量化操作融合方式；