[发明专利]一种神经网络结构确定方法及其装置

说明书

本申请实施例公开了一种神经网络结构确定方法，包括：获取待训练的初始神经网络，初始神经网络包括M个第一结构块block和第二block，第二block与每个第一block连接，且每个第一block对应一个可训练的目标权重；对初始神经网络进行模型训练，以获取更新后的M个目标权重；根据更新后的M个目标权重，更新初始神经网络中第二block与M个第一block的连接关系，以获取第一神经网络。本申请在对初始神经网络进行block之间的连接关系的搜索过程中，通过在block之间的连接上加入可训练的目标权重，根据更新后的目标权重大小，作为block之间连接关系的重要性判断依据，并基于更新后的目标权重大小进block之间的连接关系的选择和剔除，从而实现了对神经网络的拓扑结构的搜索。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络结构确定方法及其装置。

背景技术

机器学习(machine learning，ML)近年来取得了相当大的成功，越来越多机器学习衍生的产品正在使人们的生活发生翻天覆地的变化。但是当前机器学习的进展依赖于ML专家手动对模型进行繁冗的设计和调试，这不仅限制了机器学习的广泛应用，也延长了产品的迭代周期。

随着人工智能技术的快速发展，一个性能优良的神经网络往往拥有精妙的网络结构，而这需要具有高超技能和丰富经验的人类专家花费大量精力进行构建。神经网络结构存在着极多的组合可能，人工设计时一般通过繁琐的多次尝试，寻找高精度网络结构的一些规律，进而设计出好的结构。经典的AlexNet、ResNet、DenseNet等网络结构，都是由人工完成设计的，它们的出现都大幅提升了各类任务的精度。

随着各项技术的进步和计算资源的增加，自动化机器学习(AutoML)技术逐渐开始替代人工，设计新的网络结构。通过对网络结构进行编码，然后对大量的编码评估性能，再通过强化学习、遗传等算法进行学习，最终生成最优编码。然而现有技术中，常常只能对神经网络的宽度(神经网络中运算单元的输入特征的通道数以及输出特征的通道数)和深度(神经网络包括的运算单元数量)进行搜索，而不能对神经网络的拓扑结构进行搜索。

发明内容

第一方面，本申请提供了一种神经网络结构确定方法，所述方法包括：