[发明专利]超网络的训练方法和装置

权利要求书

1.一种超网络的训练方法，包括：

构建超网络的搜索空间并初始化超网络；

执行如下迭代训练操作：

采用超网络采样器对当前的超网络的搜索空间进行修剪，并基于修剪后的当前的超网络的搜索空间采样出用于训练的第一子网络；

采用样本媒体数据训练所述第一子网络，基于训练后的所述第一子网络的参数更新所述超网络，并对迭代计数器的计数值加1；

响应于确定所述迭代计数器的计数值达到预设的计数阈值，基于更新后的超网络以及所述修剪后的当前的超网络的搜索空间确定用于评测的第二子网络，测试所述第二子网络的性能；

根据所述第二子网络的性能更新所述超网络采样器，响应于确定所述超网络未达到预设的收敛条件，基于更新后的超网络采样器执行所述迭代训练操作。

2.根据权利要求1所述的方法，其中，所述迭代训练操作还包括：

测试所述第二子网络的性能之后，响应于确定所述超网络未达到预设的收敛条件，将迭代计数器的计数值重置为0。

3.根据权利要求1或2所述的方法，其中，所述迭代训练操作还包括：当所述迭代计数器的计数值未达到预设的计数阈值时，重复执行如下训练步骤直到迭代计数器的计数值达到预设的计数阈值：

采用所述超网络采样器重新采样出用于训练的第三子网络，并采用样本媒体数据训练所述第三子网络，基于训练后的所述第三子网络的参数更新所述超网络，对迭代计数器的计数值加1。

4.根据权利要求1或2所述的方法，其中，所述方法还包括：

获取预设的评测用子网络结构；

所述采用超网络采样器对当前的超网络的搜索空间进行修剪，包括：

采用超网络采样器，基于预设的结构约束条件对当前的超网络的搜索空间进行修剪，其中，预设的结构约束条件包括：修剪后的超网络的搜索空间包含所述评测用子网络结构。

5.根据权利要求4所述的方法，其中，所述基于更新后的超网络以及所述修剪后的当前的超网络的搜索空间确定用于评测的第二子网络，包括：

将评测用子网络结构确定为第二子网络的结构，基于更新后的超网络确定所述第二子网络的参数。

6.根据权利要求1或2所述的方法，其中，所述方法还包括：

获取预设的评测用子网络结构；

所述基于更新后的超网络以及所述修剪后的当前的超网络的搜索空间确定用于评测的第二子网络，包括：

将所述预设的评测用子网络结构中，包含在所述修剪后的当前的超网络的搜索空间内的子网络结构确定为第二子网络的结构；

基于所述更新后的超网络确定所述第二子网络的参数。

7.根据权利要求1或2所述的方法，其中，所述基于更新后的超网络以及所述修剪后的当前的超网络的搜索空间确定用于评测的第二子网络，包括：

基于更新后的超网络，从所述修剪后的当前的超网络的搜索空间中采样出用于评测的第二子网络。

8.根据权利要求1或2所述的方法，其中，所述方法还包括：

基于达到所述预设的收敛条件的超网络，通过执行模型结构搜索操作确定出用于执行媒体数据处理任务的神经网络模型；

其中，所述模型结构搜索操作包括从所述达到所述预设的收敛条件的超网络采样出子网络，并测试采样出的子网络的性能，根据各采样出的子网络的性能的排序确定出用于执行媒体数据处理任务的神经网络模型。