[发明专利]神经网络架构的优化方法、装置、计算机设备及存储介质

说明书

本申请实施例公开了一种神经网络架构的优化方法、装置、计算机设备及存储介质，属于机器学习领域。该方法包括：确定子网络，子网络为神经网络架构中的可微网络，子网络由至少两个节点以及连接节点的边构成，连接节点的边用于表征神经网络中的基本操作；基于第一训练数据集，确定子网络的网络损失；通过优化网络参数以最小化网络损失，网络参数包括架构参数和模型参数，架构参数用于表征基本操作的权重，模型参数用于表征基本操作的操作方式；基于网络参数在优化过程的变化趋势和/或优化结果，从优化后的网络参数中确定目标网络参数；基于目标网络参数生成优化后的子网络。本申请实施例的方案能够避免网络参数优化过程中网络参数选择极端化。

技术领域

本申请实施例涉及机器学习领域，特别涉及一种神经网络架构的优化方法、装置、计算机设备及存储介质。

背景技术

神经结构搜索(Neural Architecture Search，NAS)是一种自动设计神经网络的技术，可以通过算法根据样本集自动设计出高性能的网络结构。可微神经网络搜索(Differentiable Architecture Search，DARTS)作为NAS的方法之一，通过构建通过连续松弛的搜索空间，提高了神经网络架构的优化的效率，被广泛应用于机器学习领域。

相关技术中，DARTS通过搜索一个子网络，然后将多个子网络相连来构建神经网络模型。具体地，构建搜索空间，搜索空间由节点和连接节点的有向边组成，通过对每条有向边上可能存在的候选操作的混合来松弛搜索空间。通过双层优化方法联合优化架构参数和模型参数，选取最大的架构参数对应的操作生成最终的子网络。

上述相关技术方案存在的问题是，通过双层优化方法联合优化架构参数和模型参数后，选取最大的架构参数对应的操作，舍弃其他操作，容易造成网络参数选择极端化，影响神经网络模型的精度和泛化性能。

发明内容

本申请实施例提供了一种神经网络架构的优化方法、装置、计算机设备及存储介质，能够避免神经网络架构的优化过程中网络参数选择极端化，提高神经网络模型的精度和泛化性能。所述技术方案如下：

一方面，本申请实施例提供了一种神经网络架构的优化方法，所述方法包括：

确定子网络，所述子网络为神经网络架构中的可微网络，所述子网络由至少两个节点以及连接节点的边构成，所述连接节点的边用于表征神经网络中的基本操作；

基于第一训练数据集，确定所述子网络的网络损失；

通过优化网络参数以最小化所述网络损失，所述网络参数包括架构参数和模型参数，所述架构参数用于表征所述基本操作的权重，所述模型参数用于表征所述基本操作的操作方式；

基于所述网络参数在优化过程的变化趋势和/或优化结果，从优化后的所述网络参数中确定目标网络参数；

基于所述目标网络参数生成优化后的所述子网络。

另一方面，本申请实施例提供了一种神经网络架构的优化装置，所述装置包括：

第一构建模块，用于确定子网络，所述子网络为神经网络架构中的可微网络，所述子网络由至少两个节点以及连接节点的边构成，所述连接节点的边用于表征神经网络中的基本操作；

第一确定模块，用于基于第一训练数据集，确定所述子网络的网络损失；

优化模块，用于通过优化网络参数以最小化所述网络损失，所述网络参数包括架构参数和模型参数，所述架构参数用于表征所述基本操作的权重，所述模型参数用于表征所述基本操作的操作方式；

第二确定模块，用于基于所述网络参数在优化过程的变化趋势和/或优化结果，从优化后的所述网络参数中确定目标网络参数；

生成模块，用于基于所述目标网络参数生成优化后的所述子网络。