[发明专利]一种深度神经网络的结构搜索方法及装置

说明书

本申请提供了一种深度神经网络的结构搜索方法及装置，涉及人工智能技术领域。方法包括：在预先设置的搜索空间中获得深度神经网络中依次串接的每个模块中的每层计算单元结构；在每个模块中采用预设连接方式将各计算单元进行连接，得到每个模块中的信息流；根据模块及每个模块中的计算单元的连接情况，得到初始神经网络；对初始神经网络中的信息流设置稀疏缩放算子，其中稀疏缩放算子用于对信息流进行缩放；采用预置的训练样本数据对初始神经网络的权重和信息流的稀疏缩放算子进行训练，得到中间神经网络；将中间神经网络中稀疏缩放算子为零的信息流删除，得到搜索空间内的搜索结果神经网络。本申请可以节省网络结构搜索的时间。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种深度神经网络的结构搜索方法及装置。

背景技术

近几年来，深度神经网络在诸多领域中取得了巨大的成功，如计算机视觉、自然语言处理等。深度神经网络通过强大的表征能力，将传统的手工设计的特征转化为了端到端的学习。然而，目前深度神经网络的结构复杂，诸如卷积、池化等计算单元节点众多，使得如何在众多计算单元节点中搜索得到一个结构紧凑、运行速度较快、效果又好的模型结构成为了一个难点。

目前现有技术一般采用先定义搜索空间，然后在搜索空间中搜索最优的网络结构。一般情况下可以采用基于控制器的网络结构搜索的启发式方法来进行网络结构搜索，或者使用进化算法来进行网络结构搜索。然而，现有技术中需要控制器进行训练或者使用进化算法来进行网络结构搜索，在搜索过程中需要将全集中的子网络训练到收敛来对子网络进行评估，使得网络结构搜索的时间与计算量极大，对于较大的数据集，采用此种方法搜索到最优网络结构的过程繁琐且缓慢。进而造成图像处理、语音处理、文字处理等应用深度神经网络的任务处理复杂且缓慢。

发明内容

本申请的实施例提供一种深度神经网络的结构搜索方法及装置，以解决现有技术中的网络结构搜索的时间与计算量极大，对于较大的数据集，搜索到最优网络结构的过程繁琐且缓慢，进而造成图像处理、语音处理、文字处理等应用深度神经网络的任务处理复杂且缓慢的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种深度神经网络的结构搜索方法，包括：

在预先设置的搜索空间中获得深度神经网络中依次串接的每个模块中的每层计算单元结构；所述每层计算单元结构包括至少一个计算单元；

在每个模块中采用预设连接方式将各计算单元进行连接，得到每个模块中的信息流；其中，处于同一层计算单元结构的计算单元之间不进行连接，每个计算单元能够与和其所在模块中的不同层的计算单元，以及其所在模块的输入和输出进行连接；

根据模块及每个模块中的计算单元的连接情况，得到初始神经网络；

对所述初始神经网络中的信息流设置稀疏缩放算子，其中所述稀疏缩放算子用于对所述信息流进行缩放；

采用预置的训练样本数据对所述初始神经网络的权重和信息流的稀疏缩放算子进行训练，得到中间神经网络；

将所述中间神经网络中稀疏缩放算子为零的信息流删除，得到搜索空间内的搜索结果神经网络。

第二方面，本申请实施例提供一种目标检测方法，包括：

获得待进行目标检测的样本数据，输入到采用上述的深度神经网络的结构搜索方法得到的搜索结果神经网络中，以所述搜索结果神经网络的输出作为目标检测结果。

第三方面，本申请实施例提供一种语义分割方法，包括：

获得待进行语义分割的样本数据，输入到采用上述的深度神经网络的结构搜索方法得到的搜索结果神经网络中，以所述搜索结果神经网络的输出作为语义分割结果。

第四方面，本申请实施例提供一种图像分类方法，包括：