[发明专利]一种解耦合的网络结构搜索方法、设备及可读存储介质

说明书

本发明提供一种解耦合的网络结构搜索方法、设备及可读存储介质，包括：确定搜索空间，构建超网络；将超网络解耦成为各自独立的单一操作子网络；获取图像数据并分别作为超网络的网络参数、结构参数的训练数据；生成特征图，计算网络参数的交叉熵损失函数和变分丢弃损失函数，得到各通道丢弃概率，训练单一操作子网络至收敛并根据通道丢弃概率得到剪枝网络；将剪枝后的单一操作子网络组合成为超网络，生成特征图，计算交叉熵损失函数，更新超网络的结构参数；得到最终网络。本发明在保证较高的性能同时大幅度减少搜索时间和降低计算复杂度，保证了搜索的稳定性和实用性，可用于图像目标检测、分类等领域，提高图像处理速度。

技术领域

本发明涉及人工智能和图像处理技术领域，具体涉及一种网络结构搜索方法，及其计算机设备及可读存储介质，以及该方法在图像目标检测、语义分割和分类中的应用。

背景技术

随着计算能力和深度学习的发展，人工智能的发展越来越迅速。最初的图像处理由于采集的图像质量不高，对特征提取的要求因而比较低，所以主要的技术是手工特征的提取。后来图像质量不断提升，对图像处理的精度要求不断提高下，一些统计模式识别的方法例如SVM和信号处理的方法例如小波变换，使得图像处理的发展得到了一定的进步。但手工设计的特征学习始终保留着人为先验带来的偏见，对于图像的预处理要求较高，并且在图像处理的性能上始终无法超越人类。而由特征和分类器联合训练，以数据驱动的方式自动产生最适应于相关任务目标的滤波器组的端到端神经网络则摒弃了手工设计的特征也无需繁杂的预处理工作并提供了强大的图像处理能力。神经网络的出现使得人们无需手工设计特征，但神经网络依然需要手工地搭建。

手动设计的网络在过去的十多年里收获了不错的成绩，但日渐复杂的神经网络使得设计网络成为了一种繁杂且没有效率的工作。网络结构搜索为工业应用中神经网络的搭建提供了一种更加高效和便捷的方法，例如高效配置于不同计算能力的设备(如服务器、移动设备等)，不同时间消耗和准确率需求的应用(例如目标实时监测、大规模图像集分析等)，并能够据此自动设计人工智能芯片。网络结构搜索也在最近几年中因此得到了一定的发展，从基于进化算法的搜索方法发展到现在利用梯度下降高效地搜索网络结构。基于进化算法，强化学习的网络结构搜索方法虽然在搜索得到的结构性能上超越了手动设计的神经网络结构，但花费大量的时间以及计算资源去得到最终的结构，使得网络结构搜索不具有实用性。因此，需要新的方法在保证较高的性能同时大幅度减少搜索时间和降低计算复杂度。

现有的网络结构搜索方法在图像分类任务上存在着不足，这些不足体现在首先对于目前的公共数据集上的图像分类任务，大部分的网络结构搜索方法是需要根据后续图像分类应用所特定的训练数据来搜索得到特定网络结构的。这代表即使同样是图像分类的任务，在更换需要分类的图像的类别之后，仍需要从头进行网络结构的搜索。其次，现有的基于DARTS搜索空间的搜索方法，可以视为将过参数化的超网络简化成为搜索得到的子网络的过程。然而，这样的方法由于不同候选操作之间的耦合以及结构参数与网络参数之间的耦合，导致最终搜索得到的网络结构表现不理想。

发明内容

本发明针对现有技术的不足，提供了一种网络结构搜索方法，在保证较高的性能同时大幅度减少搜索时间和降低计算复杂度，保证了搜索的稳定性和实用性，可以用于图像目标检测、分类等领域，提高图像处理速度。

根据本发明的第一方面，提供一种解耦合的网络结构搜索方法，用于图像处理，包括：

S1，利用基本单元构建网络结构搜索模型的超网络，所述超网络是包含所有候选操作和侯选边的基本单元堆叠成的用于搜索网络结构的原始神经网络，所述基本单元包括普通单元和归约单元，普通单元的输出维度与输入维度一致，归约单元的输出维度为输入维度的一半；

S2，将所述超网络解耦成为若干只包含一种候选操作的单一操作子网络，单一操作子网络的数量等于候选操作种类数，这些单一操作子网络与所述超网络共享拓扑结构；