[发明专利]一种深度学习模型推理期加速方法、装置及系统

权利要求书

1.一种深度学习模型推理期加速方法，其特征在于，包括：

获取优化深度学习模型及待处理图像数据；所述优化深度学习模型带有优化合并参数；

通过带有所述优化合并参数的优化深度学习模型对所述待处理图像数据进行数据处理；

将所述数据处理后的图像数据输出；该方法还包括：

获取待优化的卷积神经网络模型及其训练数据；其中，所述待优化的卷积神经网络模型带有“批归一化”结构；

通过所述训练数据，对所述待优化的卷积神经网络模型进行优化，获取第一模型；

获取所述第一模型中对应的卷积与“批归一化”参数以及优化合并方式；

根据所述优化合并方式，合并所述第一模型中对应的卷积与“批归一化”参数，并获取所述优化深度学习模型；所述优化合并参数为优化卷积参数；在所述优化深度学习模型中，所述优化卷积参数对应的卷积计算单元在数据处理过程中进行卷积运算，去掉了“批归一化”计算单元。

2.根据权利要求1所述的深度学习模型推理期加速方法，其特征在于，所述优化卷积参数包括：优化卷积权重参数和优化卷积偏置参数

3.根据权利要求2所述的深度学习模型推理期加速方法，其特征在于，所述优化合并方式为：

其中，为第一模型的卷积权重参数，k'对应输出的第k'个通道，k对应输入的第k个通道；b^k′为第一模型的卷积偏置参数，k'对应输出的第k'个通道；为第一模型的线性变换尺度参数，k'对应输出的第k'个通道；为第一模型的线性变换移位参数，k'对应输出的第k'个通道。

4.一种深度学习模型推理期加速装置，其特征在于，包括：

信息获取单元，用于获取优化深度学习模型及待处理图像数据；所述优化深度学习模型带有优化合并参数；

数据处理单元，用于通过带有所述优化合并参数的优化深度学习模型对所述待处理图像数据进行数据处理；

数据传输单元，用于将所述数据处理后的图像数据输出；该装置还包括：

训练信息获取单元，用于获取待优化的卷积神经网络模型及其训练数据；其中，所述待优化的卷积神经网络模型带有“批归一化”结构；

优化单元，用于通过所述训练数据，对所述待优化的卷积神经网络模型进行优化，获取第一模型；

参数信息获取单元，用于获取所述第一模型中对应的卷积与“批归一化”参数以及优化合并方式；

参数合并单元，用于根据所述优化合并方式，合并所述第一模型中对应的卷积与“批归一化”参数，并获取所述优化深度学习模型；

所述优化合并参数为优化卷积参数；在所述优化深度学习模型中，所述优化卷积参数对应的卷积计算单元在数据处理过程中进行卷积运算，去掉了“批归一化”计算单元。

5.根据权利要求4所述的深度学习模型推理期加速装置，其特征在于，所述优化卷积参数包括：优化卷积权重参数和优化卷积偏置参数

所述优化合并方式为：

其中，为第一模型的卷积权重参数，k'对应输出的第k'个通道，k对应输入的第k个通道；b^k′为第一模型的卷积偏置参数，k'对应输出的第k'个通道；为第一模型的线性变换尺度参数，k'对应输出的第k'个通道；为第一模型的线性变换移位参数，k'对应输出的第k'个通道。

6.一种深度学习模型推理期加速系统，其特征在于，包括：如权利要求4或5所述深度学习模型推理期加速装置。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述的深度学习模型推理期加速方法。

8.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序可被处理器执行如权利要求1-3任一项所述的深度学习模型推理期加速方法。