[发明专利]边缘计算下异构处理器加速多出口DNN推理的方法在审
| 申请号： | 202210282401.5 | 申请日： | 2022-03-22 |
| 公开（公告）号： | CN114662661A | 公开（公告）日： | 2022-06-24 |
| 发明（设计）人： | 东方;蔡光兴;沈典;王慧田;张竞慧 | 申请（专利权）人： | 东南大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 南京众联专利代理有限公司 32206 | 代理人： | 张天哲 |
| 地址： | 210096 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种边缘计算下异构处理器加速多出口DNN(Deep Neural Networks)推理的方法，首先针对不同负载下的CPU与GPU，分别统计深度神经网络各层在CPU、GPU上的计算成本、各层提前退出分支出口的分类能力以及各网络层中间数据量大小；然后分析数据，得出特定负载情况下，将深度神经网络各层分配给CPU(GPU)处理器的最优并行组合模型；最后在终端设备上在线监测分析CPU、GPU的负载情况、以及当前的计算能力，以最小化推理时延为目标对深度神经网络推理任务进行切分，任务切块分别被分配在GPU与CPU，最终形成基于异构处理器的推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。 | ||
| 搜索关键词： | 边缘 计算 下异构 处理器 加速 出口 dnn 推理 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210282401.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种快递存放现场监控方法
- 下一篇：星载Q频段多载波合成装置及方法
