[发明专利]图神经网络架构搜索方法和装置在审
申请号: | 202310444200.5 | 申请日: | 2023-04-23 |
公开(公告)号: | CN116484906A | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 杨建磊;周傲;胡春明 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06N3/042 | 分类号: | G06N3/042;G06N3/063 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 崔博;叶明川 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 架构 搜索 方法 装置 | ||
1.一种图神经网络架构搜索方法,其特征在于,所述方法包括:
基于应用需求对图神经网络搜索空间进行超网构建,所述搜索空间包括函数空间和操作空间;
执行对所述函数空间的搜索以确定一种使得所述超网准确率最高的函数组合;
根据所述准确率最高的函数组合固定所述超网上每个位置的函数;
执行对所述操作空间的搜索来确定满足所述应用需求中硬件效率需求及准确率需求的最优图神经网络架构。
2.如权利要求1所述的图神经网络架构搜索方法,其特征在于,所述方法还包括:获取目标应用的应用需求,所述应用需求包括:目标数据集、目标部署设备、准确率需求和硬件效率需求。
3.如权利要求1所述的图神经网络架构搜索方法,其特征在于,所述的执行对所述函数空间的搜索以确定一种使得所述超网准确率最高的函数组合包括:
对所述函数空间进行采样生成函数空间子架构,所述函数空间子架构包括所述超网的上半部分及下半部分所分别对应的两组函数设定;
基于所述函数设定对所述函数空间子架构进行训练来获得所述函数设定的准确率;
重复对函数空间的采样以及对函数空间子架构的训练直到达到预设最大迭代次数;
确定使得所述超网准确率最高的一组函数组合设定。
4.如权利要求2所述的图神经网络架构搜索方法,其特征在于,所述的根据所述准确率最高的函数组合固定所述超网上每个位置的函数之后,还包括:对所述超网进行预设回合的超网预训练,得到超网预训练权重。
5.如权利要求4所述的图神经网络架构搜索方法,其特征在于,所述的执行对所述操作空间的搜索来确定满足所述应用需求中硬件效率需求及准确率需求的最优图神经网络架构包括:
对所述超网上每个位置的操作进行随机采样来获得操作空间子架构;
将所述操作空间子架构输入硬件感知装置,由所述硬件感知装置获得所述操作空间子架构对应的硬件效率评分;
判断所述硬件效率评分是否满足硬件效率需求;
响应于所述硬件效率满足硬件效率需求,对所述操作空间子架构赋予超网预训练权重来在目标数据集的验证集上进行测试获得准确率评分;基于进化算法进行下一轮次的种群迭代直至达到设定的最大迭代次数,输出最优图神经网络架构。
6.如权利要求5所述的图神经网络架构搜索方法,其特征在于,所述硬件感知装置获得所述操作空间子架构对应的硬件效率评分,包括:
以所述操作空间子架构的每个操作作为节点,操作间的数据流向作为边,同时引入一个全局节点以存储输入目标数据集的图属性信息,所述全局节点连接其他所有节点,以此将所述操作空间子架构抽象成有向图;
将所述有向图转换为邻接矩阵;
基于独热码形式给每个节点赋予特征向量来构成特征矩阵;
将目标设备的编码、所述邻接矩阵和所述特征矩阵作为图神经网络预测器的输入来通过所述图神经网络预测器输出硬件效率评分。
7.如权利要求6所述的图神经网络架构搜索方法,其特征在于,所述图神经网络预测器通过如下方式进行训练:
通过对图神经网络搜索空间进行随机采样N个图神经网络架构;
在不同目标部署设备上进行测试来获得对应的硬件效率,以此构成图神经网络架构-硬件效率的数据集;
基于所述数据集对所述图神经网络预测器进行预设回合数的训练来提高其预测精度。
8.一种图神经网络架构搜索装置,其特征在于,所述装置包括:
超网构建单元,用于基于应用需求对图神经网络搜索空间进行超网构建,所述搜索空间包括函数空间和操作空间;
函数空间搜索单元,用于执行对所述函数空间的搜索以确定一种使得所述超网准确率最高的函数组合;
超网函数固定单元,用于根据所述准确率最高的函数组合固定所述超网上每个位置的函数;
操作空间搜索单元,用于执行对所述操作空间的搜索来确定满足所述应用需求中硬件效率需求及准确率需求的最优图神经网络架构。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310444200.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:双边沿触发的异步格雷码计数器
- 下一篇:液晶介质