[发明专利]网络结构搜索的方法及装置、计算机存储介质和计算机程序产品

说明书

一种网络结构搜索的方法包括：定义搜索空间步骤：(步骤S12)确定待进行网络结构搜索的神经网络模型的搜索空间，搜索空间定义了神经网络模型中每两个节点之间的操作层上的多种操作；预训练步骤：(步骤S14)根据第一网络结构以第一网络结构的预设参数训练搜索空间的总图以得到具有预训练参数的总图，总图由操作构成；训练步骤：(步骤S16)根据第一网络结构训练具有预训练参数的总图和根据第一网络结构的反馈量更新第一网络结构。本申请还公开了一种网络结构搜索的装置、计算机存储介质和计算机程序产品。

技术领域

本申请涉及机器学习领域，特别涉及一种网络结构搜索的方法及装置、计算机存储介质和计算机程序产品。

背景技术

相关技术中，机器学习算法尤其深度学习算法近年来得到快速发展与广泛应用。随着应用场景和模型结构变得越来越复杂，在应用场景中得到最优模型的难度越来越大，其中，可以使用基于权值分享的高效网络结构搜索(Efficient Neural ArchitectureSearch via Parameter Sharing，ENAS)来提高网络结构搜索(Neural ArchitectureSearch，NAS)的效率。然而，通过ENAS搜索到的网络结构经常出现较大的偏见(bias)，即，通过ENAS搜索到的网络结构总会倾向于卷积核尺寸(kernel size)较大的操作。这导致搜索到的模型参数较大，不易调试训练。另外，控制器带有偏见就意味着控制器收敛到的局部最优解，无法充分探索(explore)搜索空间。这样的控制器不具有较高的可信度，不能保证搜索到的模型就是全局最优。

发明内容

本申请的实施方式提供一种网络结构搜索的方法及装置、计算机存储介质和计算机程序产品。

本申请实施方式的网络结构搜索的方法包括：

定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述卷积神经网络中每两个节点之间的操作层上的多种操作；

预训练步骤：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；

训练步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。

本申请实施方式的网络结构搜索的装置包括处理器和存储器，所述存储器存储有一个或多个程序，所述处理器用于定义搜索空间：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述卷积神经网络中每两个节点之间的操作层上的多种操作；及用于预训练：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；以及用于训练：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。

本申请实施方式的计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行上述的方法。

本申请实施方式的包含指令的计算机程序产品，所述指令被计算机执行时使得计算机执行上述的方法。

本申请实施方式的网络结构搜索的方法及装置、计算机存储介质和计算机程序产品，在对总图和第一网络结构进行优化前，先以固定的第一网络结构的预设参数对总图进行预训练，使得具有预训练参数的总图得到充分的训练。预训练完成后，放开第一网络结构的参数对总图和第一网络结构进行训练，从而对网络结构和第一网络结构进行优化，避免从头开始训练时优化第一网络结构导致的偏见，提高第一网络结构的可信度，保证搜索到的模型是全局最优。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明