[发明专利]一种结构搜索方法及结构搜索装置

说明书

本申请公开了人工智能领域的一种结构搜索方法及结构搜索装置，用于神经网络构建，以构建单元在硬件上的预测延迟作为约束条件，确定出符合时延要求的神经网络，实现人工智能中的神经网络构建。该方法包括：获取用于请求创建在预设硬件上运行的神经网络的目标任务；随后根据目标任务获取超级单元，该超级单元包括多个节点，该多个节点中的任意两个节点之间通过多种基础运算连接；随后延迟预测模型的输出作为约束条件对超级单元进行搜索，确定出至少一个第一构建单元，该延迟预测模型用于输出预测延迟，该预测延迟为超级单元所包括的构建单元在预设硬件上运行时的预测延迟；对至少一个第一构建单元进行堆叠，得到神经网络。

技术领域

本申请涉及人工智能领域，尤其涉及一种结构搜索方法及结构搜索装置。

背景技术

深度神经网络近年来在图像、视频和语音等多种媒体信号的处理与分析任务中取得了卓 越的成就。一个性能良好的神经网络往往拥有精妙的网络结构，需要具有高超技能和丰富经 验的人类专家花费大量精力进行设计。神经网络结构搜索改变了这种手工的设计模式，自动 化地搜索神经网络结构，得到性能优异的神经网络结构，在图像识别、图像语义分割和自然 语言处理等任务上取得了优异的成绩。

通常，神经网络结构搜索具体可以包括，在搜索空间搜索构建单元，然后通过堆叠搜索 到的构建单元来搭建得到深度神经网络。然而，在搜索神经网络结构时，除了需要考虑神经 网络的输出准确性，还要考虑神经网络在硬件上运行的延迟。尤其是在一些对于时延要求较 高的场景，若神经网络运行的延迟较大，则输出结果所花费的时间也越长，影响用户体验。

发明内容

本申请公开了人工智能领域的一种结构搜索方法及结构搜索装置，用于神经网络构建， 以构建单元在硬件上的预测延迟作为约束条件，确定出符合时延要求的神经网络，实现人工 智能中的神经网络构建。

第一方面，本申请提供一种结构搜索方法，包括：

获取目标任务，目标任务用于请求创建在预设硬件上运行的神经网络；根据目标任务获 取超级单元，超级单元包括多个节点，多个节点中的任意两个节点之间通过多种基础运算连 接；以延迟预测模型的输出作为约束条件对超级单元进行搜索，确定出至少一个第一构建单 元，该延迟预测模型用于输出预测延迟，该预测延迟为超级单元所包括的构建单元在预设硬 件上运行时得到输出结果的预测时长，延迟预测模型为根据多个第二构建单元的信息进行训 练得到，该多个第二构建单元的信息包括多个第二构建单元中每个第二构建单元的结构和每 个第二构建单元的运行延迟，运行延迟为每个第二构建单元在预设硬件上运行得到输出结果 的时长，至少一个第一构建单元中的每个第一构建单元、超级单元所包括的构建单元和每个 第二构建单元包括多个节点，多个节点中的任意两个节点之间通过多种基础运算中的至多一 种连接，且该多个节点中的每个节点连接有所述多种基础运算中的至少一种；对至少一个第 一构建单元进行堆叠，得到神经网络。

本申请实施方式中，在获取到目标任务之后，以延迟预测模型的输出作为约束条件对超 级单元进行搜索，得到至少一个构建单元。并对该至少一个构建单元进行堆叠，得到目标任 务请求构建的神经网络。该神经网络为以延迟预测模型输出的预测延迟作为约束条件，而该 延迟预测模型为根据第二构建单元在预设硬件上运行得到的运行延迟训练得到。因此，本申 请增加了预测延迟作为约束条件搜索构建单元，进而得到以预测延迟作为约束条件的神经网 络。例如，对于一些时延要求高的场景，可以确定出延迟低的构建单元，从而降低神经网络 输出结果所花费的时长，提高用户体验。

在一种可能的实施方式中，在以延迟预测模型的输出作为约束条件对超级单元进行搜索 之前，该方法还可以包括：获取每个第二构建单元的结构；测量每个第二构建单元的运行延 迟；基于每个第二构建单元的结构、每个第二构建单元的运行延迟和预设回归模型进行训练， 得到延迟预测模型。