[发明专利]图神经网络架构搜索方法和装置

说明书

本发明提供了一种图神经网络架构搜索方法和装置，涉及人工智能及深度学习技术领域，方法包括：基于应用需求对图神经网络搜索空间进行超网构建，搜索空间包括函数空间和操作空间；执行对函数空间的搜索以确定一种使得超网准确率最高的函数组合；根据准确率最高的函数组合固定超网上每个位置的函数；执行对操作空间的搜索来确定满足应用需求中硬件效率需求及准确率需求的最优图神经网络架构。本发明将搜索空间分为了函数空间和操作空间，且通过超网的形式来对搜索空间进行组织，可以有效降低搜索时间。另外本申请结合硬件感知装置，可以有效提高搜索出的图神经网络架构在目标设备上的实际硬件效率。

技术领域

本发明涉及人工智能及深度学习技术领域，尤其涉及一种图神经网络架构搜索方法和装置。

背景技术

图神经网络(Graph Neural Networks，GNN)是近年来新兴的一种深度学习方法，可以用于处理非欧空间数据。传统的深度学习方法，如卷积神经网络(ConvolutionalNeural Networks,CNN)可以有效提取规则化数据(图像、语音、文本)的特征。然而，现实世界中，许多实际应用场景的数据都是从非欧空间生成的，传统的深度学习方法并不适用于处理非欧空间数据。因此，图神经网络就被提出，用于处理非结构化数据，且在各个领域均取得了很大的进展。目前，图神经网络在社交网络分析、知识图谱、推荐系统、点云处理等各个研究领域均有很强的应用潜力，且逐渐成为主流方法。图神经网络的本质是图+神经网络，它可以在不规则的图数据上执行神经网络运算，具有强大的表示学习能力，可以有效提取非规则化数据中的空间拓扑特征。基本的图神经网络每一层包含节点聚合函数、节点更新函数、节点采样函数、激活函数等结构组件。

基于人工的图神经网络模型设计方法，往往依赖专家经验来为图神经网络层挑选不同的结构组件，在面对不同的任务、数据集时需要花费大量的时间去重新训练调优，并且人工难以考虑到模型的所有瓶颈点，很难在面对不同场景时高效的设计出极致性能的图神经网络模型。因此，目前出现了神经网络架构搜索的自动化设计技术。

神经网络架构搜索是一种自动化机器学习技术(AutoML)，其主要任务：是给定一个神经网络模型的设计空间，在给定优化目标(如模型准确率)、搜索策略(如进化算法、强化学习)、评估方法等情况下，在设计空间中搜索出一个最优的网络模型结构。但是申请人发现，现有的神经网络架构搜索技术都具有如下缺陷：

1、搜索目标仅以准确率最优为单目标，在搜索系统的优化函数中没有引入硬件效率相关指标，导致最终搜索出来的图神经网络架构难以满足现实应用的计算效率需求。

2、缺乏有效的图神经网络架构硬件效率评估手段，很多目标部署设备较低的计算性能以及较高的通信延迟导致将子架构采样完成后实时部署到目标设备上进行硬件效率测试却发现不可行。

3、搜索策略采用简单的强化学习或者进化算法，每次采样子架构后都需要进行训练来获得子架构的准确率性能，搜索时间开销较大。

发明内容

有鉴于此，本发明提供一种图神经网络架构搜索方法和装置，以解决上述提及的至少一个问题。

为了实现上述目的，本发明采用以下方案：

根据本发明的第一方面，提供一种图神经网络架构搜索方法，所述方法包括：基于应用需求对图神经网络搜索空间进行超网构建，所述搜索空间包括函数空间和操作空间；执行对所述函数空间的搜索以确定一种使得所述超网准确率最高的函数组合；根据所述准确率最高的函数组合固定所述超网上每个位置的函数；执行对所述操作空间的搜索来确定满足所述应用需求中硬件效率需求及准确率需求的最优图神经网络架构。

作为本发明的一个实施例，上述方法还包括：获取目标应用的应用需求，所述应用需求包括：目标数据集、目标部署设备、准确率需求和硬件效率需求。