[发明专利]面向边缘云的DNN推断模型部署能耗优化方法和系统有效
申请号: | 202310335972.5 | 申请日: | 2023-03-31 |
公开(公告)号: | CN116048820B | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 牧军;王继业;宋文;杨华飞;俞俊;杨文清;丰佳;张伟;毛林晖;吴禹;孙赫声;钱柱中 | 申请(专利权)人: | 南京大学;国电南瑞科技股份有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/063;G06N5/04;G06N3/045 |
代理公司: | 南京泉为知识产权代理事务所(特殊普通合伙) 32408 | 代理人: | 许丹丹 |
地址: | 210093 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种面向边缘云的DNN推断模型部署能耗优化方法和系统。所述方法在每个调度时隙内根据异构边缘节点的硬件属性配置并发DNN模型的推断组合,通过积累多个时隙不同DNN模型组合在异构边缘节点的执行时延的历史信息,利用基于上下文的组合多臂赌博机为当前时刻的DNN模型组合分发提供依据,从而不断调整当前时隙的DNN推断模型部署策略,降低异构节点的峰值负载时间,从而降低整体执行功率消耗。本发明能够在边缘云计算环境下优化系统能耗,提高能源利用率,且可以自适应地应对不同的工作负载,适用于各种边缘计算场景。 | ||
搜索关键词: | 面向 边缘 dnn 推断 模型 部署 能耗 优化 方法 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学;国电南瑞科技股份有限公司,未经南京大学;国电南瑞科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202310335972.5/,转载请声明来源钻瓜专利网。