[发明专利]神经网络架构的优化方法、装置、计算机设备及存储介质

权利要求书

1.一种神经网络架构的优化方法，其特征在于，所述方法包括：

确定子网络，所述子网络为神经网络架构中的可微网络，所述子网络由至少两个节点以及连接节点的边构成，所述连接节点的边用于表征神经网络中的基本操作；

基于第一训练数据集，确定所述子网络的网络损失；

通过优化网络参数以最小化所述网络损失，所述网络参数包括架构参数和模型参数，所述架构参数用于表征所述基本操作的权重，所述模型参数用于表征所述基本操作的操作方式；

基于所述网络参数在优化过程的变化趋势和/或优化结果，从优化后的所述网络参数中确定目标网络参数；

基于所述目标网络参数生成优化后的所述子网络。

2.根据权利要求1所述的方法，其特征在于，所述基于所述网络参数在优化过程的变化趋势和/或优化结果，从优化后的所述网络参数中确定目标网络参数，包括：

基于所述架构参数在优化过程中的变化趋势和/或优化结果，从优化后的所述架构参数中确定目标架构参数；

将优化后的所述模型参数中，所述目标架构参数对应的模型参数确定为目标模型参数。

3.根据权利要求2所述的方法，其特征在于，所述基于所述架构参数在优化过程中的变化趋势和/或优化结果，从优化后的所述架构参数中确定目标架构参数，包括：

基于优化后的所述架构参数的降序，将前k个架构参数确定为所述目标架构参数，k为大于1的整数；和/或，

确定优化过程中呈上升趋势的架构参数，将所述呈上升趋势的架构参数确定为所述目标架构参数。

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于第一训练数据集，确定所述子网络的网络损失，包括：

基于所述第一训练数据集，通过锐度感知最小化方法确定所述子网络在网络参数范围内的所述网络损失，所述网络参数范围是以所述网络参数为中心的参数范围。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一训练数据集，通过锐度感知最小化方法确定所述子网络在网络参数范围内的所述网络损失，包括：

基于所述网络参数和范围尺寸，确定所述网络参数范围；

对于所述网络参数范围内的候选网络参数，将所述第一训练数据集中的训练数据输入采用所述候选网络参数的所述子网络，得到所述子网络的网络输出；

基于所述网络输出确定所述候选网络参数对应的候选网络损失；

将各个所述候选网络参数对应的所述候选网络损失的损失之和，确定为所述子网络在所述网络参数范围内的所述网络损失。

6.根据权利要求5所述的方法，其特征在于，所述基于所述网络参数和范围尺寸，确定所述网络参数范围之后，还包括：

基于参数选取步长，确定所述网络参数范围内的所述候选网络参数。

7.根据权利要求4所述的方法，其特征在于，所述通过优化所述网络参数以最小化所述网络损失，得到优化后的所述网络参数，包括：

通过一阶优化算法优化所述网络参数以最小化所述网络损失，得到优化后的所述网络参数。

8.根据权利要求1至3任一所述的方法，其特征在于，所述通过优化所述网络参数以最小化所述网络损失，得到优化后的所述子网络之后，所述方法还包括：

基于优化后的所述子网络构建目标网络模型，所述目标网络模型由优化后的所述子网络堆叠得到；

基于所述第一训练数据集对所述目标网络模型进行模型训练，得到训练后的所述目标网络模型。

9.根据权利要求8所述的方法，其特征在于，所述目标网络模型采用U型神经网络架构，所述目标网络模型基于优化后的上采样子网络和下采样子网络构建得到。