[发明专利]生成神经网络模型的方法和装置

权利要求书

1.一种生成神经网络模型的方法，包括：

基于目标神经网络模型的结构构建超网络，所述超网络的各层包括分别与所述目标神经网络模型的各层对应的候选结构单元集合，且所述候选结构单元集合包括所述目标神经网络模型的结构中对应层的网络结构单元以及至少一个与所述目标神经网络模型的结构中对应层的网络结构单元相似的候选结构单元；

初始化所述超网络，并基于预设域的样本数据和所述超网络各层对应的候选结构单元集合训练所述超网络；

将训练完成的超网络中与所述目标神经网络模型对应的目标子网络的参数同步至所述目标神经网络模型。

2.根据权利要求1所述的方法，其中，所述基于预设域的样本数据和所述超网络各层对应的候选结构单元集合训练所述超网络，包括迭代执行多次训练操作；

所述训练操作包括：

通过对超网络各层对应的候选结构单元集合中的候选结构单元采样，生成当前训练操作的子网络集合；

基于所述预设域的样本数据对所述子网络集合中的子网络进行训练，根据所述子网络的训练结果确定所述超网络的当前性能；

响应于确定所述超网络的当前性能不满足预设的收敛条件，基于所述超网络的当前性能更新所述超网络的参数，执行下一次训练操作。

3.根据权利要求2所述的方法，其中，所述训练操作还包括：

根据所述子网络的训练结果确定所述超网络的训练监督函数的当前梯度值，将所述超网络的训练监督函数的当前梯度值保存至所述梯度值集合，其中，所述梯度值集合中的梯度值的初始数量为0；

所述基于所述超网络的当前性能更新所述超网络的参数，包括：

响应于确定梯度值集合中的梯度值的数量达到预设的数量阈值，基于所述梯度值集合中的各个梯度值计算平均梯度值，基于所述平均梯度值更新所述超网络的参数，并将所述梯度值集合中的各梯度值删除。

4.根据权利要求3所述的方法，其中，所述通过对超网络各层对应的候选结构单元集合中的候选结构单元采样，生成当前训练操作的子网络集合，包括：

响应于在当前训练操作中确定梯度值集合中的梯度值的数量与所述预设的数量阈值的差值为1，且与所述梯度值集合中的梯度值分别对应的各次训练操作中采样出的子网络集合均不包含与所述目标神经网络模型结构一致的子网络，从所述超网络中采样出所述目标神经网络模型结构的各层对应的候选结构单元构成的子网络添加至当前训练操作的子网络集合中。

5.根据权利要求1-4任一项所述的方法，其中，所述通过对超网络各层对应的候选结构单元集合中的候选结构单元采样，生成当前训练操作的子网络集合，包括：

采用对超网络的各层对应的候选结构单元均衡采样的策略，从所述超网络中采样出当前训练操作的子网络集合。

6.根据权利要求1所述的方法，其中，所述方法还包括：

利用所述目标神经网络模型对预设域的待处理数据进行处理。

7.一种生成神经网络模型的装置，包括：

构建单元，被配置为基于目标神经网络模型的结构构建超网络，所述超网络的各层包括分别与所述目标神经网络模型的各层对应的候选结构单元集合，且所述候选结构单元集合包括所述目标神经网络模型的结构中对应层的网络结构单元以及至少一个与所述目标神经网络模型的结构中对应层的网络结构单元相似的候选结构单元；

训练单元，被配置为初始化所述超网络，并基于预设域的样本数据和所述超网络各层对应的候选结构单元集合训练所述超网络；

同步单元，被配置为将训练完成的超网络中与所述目标神经网络模型对应的目标子网络的参数同步至所述目标神经网络模型。