[发明专利]神经网络优化方法、装置、电子设备及可读存储介质

权利要求书

1.一种神经网络优化方法，其特征在于，包括：

对待优化神经网络进行子网划分，并依据预设融合规则以及融合目标分别对各子网进行网络层融合，得到各子网的最优融合结果；

依据各子网的最优融合结果、所述预设融合规则以及融合目标，对所述待优化神经网络进行网络层融合，得到所述待优化神经网络的最优融合结果；其中，对于所述待优化神经网络的最优融合结果中任一包括多个网络层的层级，该层级的结构与目标子网的最优融合结果的结构一致，所述目标子网为与该层级包括的网络层相同的子网。

2.根据权利要求1所述的方法，其特征在于，所述对待优化神经网络进行子网划分，并依据预设融合规则以及融合目标分别对各子网进行网络层融合，包括：

分别按照多种不同子网划分方式，对所述待优化神经网络进行子网划分，得到多种不同类型的子网，不同子网划分方式下得到的子网包括的网络层数量不同；

依据所述预设融合规则以及融合目标，分别对各最底层子网进行网络层融合，得到各最底层子网的最优融合结果；所述最底层子网为所述多种不同类型的子网中包括的网络层数量最少的子网；

依据底层子网的最优融合结果、所述预设融合规则以及融合目标，对高层子网进行网络层融合，得到高层子网的最优融合结果，所述高层子网包括的网络层数量大于所述底层子网包括的网络层数量，对于所述高层子网的最优融合结果中任一包括多个网络层的层级，该层级的结构与目标底层子网的最优融合结果的结构一致，该目标底层子网为与该层级包括的网络层相同的底层子网。

3.根据权利要求2所述的方法，其特征在于，所述最底层子网包括的网络层数量为1；所述不同子网划分方式下得到的子网包括2层子网，2层子网包括的网络层数量为2；最优融合结果为进出带宽最小的融合结果；

所述依据底层子网的最优融合结果、所述预设融合规则以及融合目标，对高层子网进行网络层融合，包括：

对于任一2层子网，分别确定该2层子网中两个网络层融合为一个层级的情况下该最底层子网的第一进出带宽，以及该两个网络层未融合情况下该最底层子网的第二进出带宽；

若所述第一进出带宽小于所述第二进出带宽，则确定该两个网络层融合为一个层级为该2层子网的最优融合结果；

若所述第一进出带宽大于第二进出带宽，则确定该网络层未融合为该2层子网的最优融合结果。

4.根据权利要求3所述的方法，其特征在于，所述依据底层子网的最优融合结果、所述预设融合规则以及融合目标，对高层子网进行网络层融合，得到高层子网的最优融合结果，还包括：

对于任一包括的网络层数量为k的高层子网，依据包括的网络层数量小于k的底层子网的最优融合结果、所述预设融合规则以及融合目标，对该高层子网进行融合，得到该高层子网的最优融合结果，2＜k＜N，N为所述待优化网络的网络层数量。

5.根据权利要求4所述的方法，其特征在于，对于任一包括的网络层数量为k的子网，对该子网进行网络层融合的候选融合方案中，包括对至少2个网络层，且至多m个网络层进行融合，m≤k，且m满足所述融合规则限制；

所述网络层包括卷积层、非线性层、池化层、全连接层、反卷积层或上采样层。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述对待优化神经网络进行子网划分之前，还包括：

获取网络拆分配置指令；

依据所述网络拆分配置指令，将所述待优化神经网络拆分为至少两个待优化部分；

所述对待优化神经网络进行子网划分，包括：

分别对各待优化部分进行子网划分；

所述依据各子网的最优融合结果、所述预设融合规则以及融合目标，对所述待优化神经网络进行网络层融合，包括：

对于任一待优化部分，依据该待优化部分的各子网的最优融合结果，以及所述预设融合规则以及融合目标，对该待优化部分进行网络层融合，得到该待优化部分的最优融合结果；

依据各待优化部分的最优融合结果，确定所述待优化神经网络的最优融合结果。