[发明专利]超网络的训练方法和装置

说明书

本申请涉及人工智能、深度学习和图像处理技术领域，公开了超网络的训练方法和装置。该方法包括构建超网络的搜索空间并初始化超网络；执行迭代训练操作：采用超网络采样器对超网络的搜索空间进行修剪，基于修剪后的搜索空间采样第一子网络；采用样本媒体数据训练第一子网络，基于训练后的第一子网络的参数更新超网络，对迭代计数器的计数值加1；响应于确定迭代计数器的计数值达到预设的计数阈值，基于更新后的超网络以及修剪后的超网络的搜索空间确定第二子网络，测试第二子网络的性能；根据第二子网络的性能更新超网络采样器，响应于确定超网络未达到预设的收敛条件，基于更新后的超网络采样器执行迭代训练操作。该方法提升了超网络的准确性。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及人工智能、深度学习和图像处理技术领域，尤其涉及超网络的训练方法和装置。

背景技术

NAS(Neural Architecture Search，神经网络架构搜索)是通过评估不同的网络结构的性能来自动搜索出最优的网络结果的技术。早期的NAS工作需要评估独立的评估每个子网络的性能，因此搜索效率非常低。为了提升搜索效率，可以训练一个超网络，超网络所有网络结构共享超网络的参数。

然而，在参数共享过程中，几十亿个子网络共享一个大的超网络的参数，会导致超网络的性能与子网络的性能之间有很大的性能壁垒。从而导致基于超网络的子网络性能排序不能客观的反应出子网络的性能，由此导致基于超网络的网络结构搜索结果的最终性能并不理想。

发明内容

本公开的实施例提供了超网络的训练方法和装置、电子设备以及计算机可读存储介质。

根据第一方面，提供了一种超网络的训练方法，包括：构建超网络的搜索空间并初始化超网络；执行如下迭代训练操作：采用超网络采样器对当前的超网络的搜索空间进行修剪，并基于修剪后的当前的超网络的搜索空间采样出用于训练的第一子网络；采用样本媒体数据训练第一子网络，基于训练后的第一子网络的参数更新超网络，并对迭代计数器的计数值加1；响应于确定迭代计数器的计数值达到预设的计数阈值，基于更新后的超网络以及修剪后的当前的超网络的搜索空间确定用于评测的第二子网络，测试第二子网络的性能；根据第二子网络的性能更新超网络采样器，响应于确定超网络未达到预设的收敛条件，基于更新后的超网络采样器执行迭代训练操作。

根据第二方面，提供了一种超网络的训练装置，包括：构建单元，被配置为构建超网络的搜索空间并初始化超网络；训练单元，被配置为执行迭代训练操作；训练单元包括：修剪单元，被配置为执行迭代操作中的如下步骤：采用超网络采样器对当前的超网络的搜索空间进行修剪，并基于修剪后的当前的超网络的搜索空间采样出用于训练的第一子网络；更新单元，被配置为执行迭代操作中的如下步骤：采用样本媒体数据训练第一子网络，基于训练后的第一子网络的参数更新超网络，并对迭代计数器的计数值加1；确定单元，被配置为执行迭代操作中的如下步骤：响应于确定迭代计数器的计数值达到预设的计数阈值，基于更新后的超网络以及修剪后的当前的超网络的搜索空间确定用于评测的第二子网络，测试第二子网络的性能；评估单元，被配置为执行迭代操作中的如下步骤：根据第二子网络的性能更新超网络采样器，响应于确定超网络未达到预设的收敛条件，基于更新后的超网络采样器执行迭代训练操作。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面提供的超网络的训练方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行第一方面提供的超网络的训练方法。

根据本申请的技术通过在超网络的训练过程中对超网络的搜索空间进行修剪，使得超网络中的子网络数量逐步减少，从而可以解耦超网络中部分子网络的依赖关系，提升训练完成的超网络的准确性。