[发明专利]一种神经网络构建方法以及装置

说明书

本申请公开了人工智能领域的一种神经网络构建方法以及装置，用于在给定硬件约束条件下，准确高效地构建出与硬件更适配的目标神经网络。该方法包括：从预设的搜索空间中采样得到至少一组第一参数组合，搜索空间中包括构建神经网络时使用的多种参数的取值范围；根据至少一组第一参数组合构建多个第一神经网络；生成映射关系，映射关系包括多种参数和多个第一神经网络的评估结果之间的关系；获取约束范围，所述约束范围包括标识计算装置的计算能力的数值范围；根据映射关系，得到和约束范围对应的第二参数组合；根据第二参数组合得到目标神经网络。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络构建方法以及装置。

背景技术

在人工智能领域中，神经网络尤其是深度神经网络近年来在计算视觉领域取得了巨大的成功。受益于计算力的增加与越来越多不同的组成元件的提出，神经网络结构朝着越来越复杂的方向发展。

为了使神经网络适应在不同硬件设备中运行，可以调节神经网络的深度或宽度等。然而，若需要都神经网络的多项都进行人工调节，才能得到与硬件设备更匹配的神经网络，调节效率低下。因此，如何高效地得到与硬件设备适配的神经网络，成为亟待解决的问题。

发明内容

本申请提供一种神经网络构建方法以及装置，用于在给定硬件约束条件下，准确高效地构建出与硬件更适配的目标神经网络。

有鉴于此，第一方面，本申请提供一种神经网络构建方法，包括：从预设的搜索空间中采样得到至少一组第一参数组合，搜索空间中包括构建神经网络时使用的多种参数的取值范围，至少一组第一参数组合中的每个第一参数组合包括多种参数中的每一种参数的值；根据至少一组第一参数组合构建多个第一神经网络；获取约束范围，所述约束范围包括标识计算装置的计算能力的数值范围，约束范围可以是根据计算装置的计算能力的信息确定的数值范围；根据映射关系，得到和约束范围对应的第二参数组合，该映射关系包括多种参数和多个第一神经网络的评估结果之间的关系，评估结果为对多个第一神经网络中的每个第一神经网络的结构进行评估得到的结果；根据第二参数组合得到目标神经网络。

因此，在本申请实施方式中，可以从搜索空间中搜索得到至少一组参数组合，基于该至少一组参数组合得到多个神经网络，并基于该至少一组参数组合和多个神经网络的结构的评估结果来生成映射关系。随后可以根据该映射关系，得到与计算装置的约束范围对应的参数组合，从而根据该参数组合得到与硬件适配的最优模型。可以理解为，可以以硬件的计算能力作为约束对模型进行缩放，得到与硬件适配的最优模型。

在一种可能的实施方式中，在生成映射关系之前，该方法还可以包括：使用预设的第一数据集训练多个第一神经网络，得到训练后的多个第一神经网络；根据训练后的多个第一神经网络中的每个第一神经网络的评估结果或训练后的每个训练后的第一神经网络的输出精度，从多个第一神经网络中筛选出至少一个第二神经网络；映射关系是至少一个第二神经网络中每个第二神经网络的对应的参数组合和每个第二神经网络的评估结果之间的关系。

因此，在本申请实施方式中，可以对多个第一神经网络进行训练，并从训练得到的多个第一神经网络中选择出更优的多个第二神经网络，从而后续可以根据更有的第二神经网络来得到映射关系，以使根据该映射关系筛选出的参数组合对应的目标神经网络在结构或者输出精度的表现更优，更能与硬件适配。

在一种可能的实施方式中，可以从多个第一神经网络中，筛选出评估结果最优或者输出精度最高的多个神经网络作为第二神经网络，从而使后续可以根据在结构或者输出精度上表现更优的第二神经网络来生成映射关系，以使根据该映射关系筛选出的参数组合对应的目标神经网络在结构或者输出精度的表现更优，更能与硬件适配。

在一种可能的实施方式中，映射关系可以是对至少一个第二神经网络中每个第二神经网络的对应的参数组合和每个第二神经网络的评估结果之间的关系进行拟合得到。