[发明专利]一种神经网络优化方法和装置

说明书

本发明公开了一种神经网络优化方法和装置。其中，所述方法包括：基于多分支的可融合残差结构进行模型训练，并提取训练后的模型参数；利用融合算子对训练后的可融合残差结构型进行结构转换，以得到单分支残差结构；将所述单分支残差结构部署到目标设备上并执行目标任务的推理步骤。本发明通过设计实现了可融合残差模块，对残差模块进行结构替换，充分利用了多分支结构和单分支结构的优点，提高网络部署运行时的内存效率和并行度，节省网络资源消耗，加快网络推理速度；采用重参数化的方法进行参数压缩，减少了因裁剪参数和连接带来的精度下降问题。

技术领域

本发明实施例涉及神经网络技术领域，尤其涉及一种神经网络优化方法和装置。

背景技术

近年来，随着深度学习的快速发展，深度学习已在许多任务取得了优异的性能表现，使其越来越多的应用在众多生活与工业领域。目前部署深度神经网络模型分为Online在线部署和Offline离线部署两种方式。在大多实际工业生产环境下通常使用Offline部署，它本地处理数据而不经过网络，安全性与实时性能够得到保障。但是对于计算资源有限的嵌入式端侧设备来说，深度神经网络对计算力的海量需求是不可接受的。同时，对于使用电池的嵌入式移动设备来说，繁重的计算会很快耗尽其有限的电池电量。

要解决深度神经网络在嵌入式设备的部署困境，仅仅靠传统的方法已经出现瓶颈。简单的增加嵌入式设备的DRAM内存容量和加强CPU运算能力，并不能匹配神经网络的发展速度。并且在许多工业场景下，对嵌入式设备有严格的体积和功耗限制，这对神经网络在嵌入式设备上的部署提出了巨大挑战。要解决神经网络在嵌入式设备上的部署内存和功耗的限制要求，因此，一个满足嵌入式有限硬件资源的一个可行的神经网络部署方案就诞生了，即神经网络模型压缩。

然而，传统的神经网络模型压缩方法在对训练后网络模型裁剪掉冗余的连接和参数，从而减少参数量。由于这些压缩方法并不会改变网络的整体架构，只是裁掉多余的连接和参数，这样会让模型损失部分精度；此外，传统的神经网络架构并不能同时利用多分支结构和单分支结构的优势，导致神经网络推理效能低。

发明内容

本发明提供一种神经网络优化方法和装置，以实现有效的减少模型参数并提高神经网络的推理效能。

第一方面，本发明实施例提供了一种神经网络优化方法，包括：

基于多分支的可融合残差结构进行模型训练，并提取训练后的模型参数；

利用融合算子对训练后的可融合残差结构型进行结构转换，以得到单分支残差结构；

将所述单分支残差结构部署到目标设备上并执行目标任务的推理步骤。

可选的，所述可融合残差结构由残差结构去掉两个连续卷积核之间的relu层得到。

可选的，所述可融合残差结构中的卷积核结构包括：一个1乘1卷积核、接在所述1乘1卷积核后面的一个3乘3卷积核、以及接在所述3乘3卷积核后面的一个1乘1卷积核。

可选的，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：

遍历神经网络中所有的可融合残差结构；

将所述可融合残差结构中的卷积核输入带入到批归一化层的公式中，以得到融合了批归一化层的卷积核。

可选的，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：

所述可融合残差结构中每个卷积核将其前一个卷积核层的输出作为输入，并将输出反馈到其后一个卷积核，以实现卷积核和卷积核合并。

可选的，利用融合算子对训练后的可融合残差结构型进行结构转换，包括：

所述可融合残差结构中每个卷积核将其前一个卷积核层的输出作为输入，并将输出反馈到其后一个卷积核，以实现卷积核和卷积核合并。