[发明专利]网络结构搜索方法和装置

说明书

本公开提出一种网络结构搜索方法和装置，涉及计算机领域。该方法包括：将网络结构的优化构建为网络结构的权重的最大后验；基于网络结构的权重的最大后验进行网络结构的优化的计算得到较优的网络结构的权重的分布；根据较优的网络结构的权重的分布进行采样得到多个权重；根据采样得到的每个权重相应的候选网络结构，选取满足性能要求的目标网络结构。其中较优的网络结构的权重的分布可以视为候选网络结构的面估计，基于该分布可以获取到多个候选网络结构，给出多种解决方案。

技术领域

本公开涉及计算机领域，特别涉及一种网络结构搜索方法和装置。

背景技术

专家在对特定的决策任务进行建模时，需要结合领域知识以及现实应用场景完成网络结构的设计，然而手工设计网络结构对于设计者的专业知识以及设计经验等方面要求极高。例如，在图像分类任务上大放异彩的ResNet、在机器翻译任务上称霸的Transformer等网络结构无一不来自专家的精心设计。这无疑给网络结构的设计工作带来极大的挑战。

为应对网络结构的设计问题，机器自动设计网络结构的网络结构搜索在工业界备受关注。网络结构搜索方法一般从一组预定义的操作集开始，用特定搜索策略以获得大量基于搜索空间的候选网络结构，通过对候选网络结构进行训练和评估排序，根据候选网络结构的评估排序信息对于搜索策略进行调整，进一步获得新的候选网络结构，当搜索终止时，排序最高的候选网络结构作为最终的最优网络结构，用于最终的性能评估。

相关技术主要通过将网络结构编码为连续空间上的一组向量，然后通过基于最大似然估计的可微分网络结构搜索算法对网络结构进行优化，每次搜索只能获取到一个最佳候选网络结构的单点估计，给出一种解决方案。

发明内容

本公开实施例将网络结构的优化构建为网络结构的权重的最大后验，基于网络结构的权重的最大后验进行网络结构的优化的计算得到较优的网络结构的权重的分布，其可以视为候选网络结构的面估计，基于该分布可以获取到多个候选网络结构，给出多种解决方案。

本公开一些实施例提出一种网络结构搜索方法，包括：

将网络结构的优化构建为网络结构的权重的最大后验；

基于网络结构的权重的最大后验进行网络结构的优化的计算得到较优的网络结构的权重的分布；

根据较优的网络结构的权重的分布进行采样得到多个权重；

根据采样得到的每个权重相应的候选网络结构，选取满足性能要求的目标网络结构。

在一些实施例中，将网络结构的优化构建为网络结构的权重的最大后验包括：将网络结构的权重构建为等于在给定数据集和网络结构的超网络参数条件下的网络结构的权重的最大后验，其中，给定数据集包括多组输入数据及其目标标签的数据对。

在一些实施例中，网络结构的权重的最大后验根据网络结构的权重的先验分布以及判别概率模型最优下的网络结构的权重构建，其中，所述判别概率模型是在输入数据、网络结构的超网络参数以及网络结构的权重条件下的目标标签的判别概率。

在一些实施例中，基于网络结构的权重的最大后验进行网络结构的优化的计算得到较优的网络结构的权重的分布包括：对网络结构的权重的后验进行变分推理学习得到网络结构的权重的后验的近似；根据网络结构的权重的后验的近似进行网络结构的权重的最大后验的计算，得到较优的网络结构的权重的分布。

在一些实施例中，对网络结构的权重的后验进行变分推理学习得到网络结构的权重的后验的近似包括：

构建代理高斯分布，所述代理高斯分布是以数学期望和标准差为高斯分布参数、以网络结构的权重为变量的高斯分布；

计算使得所述代理高斯分布与网络结构的权重的后验之间的距离最小的目标高斯分布参数；