|
钻瓜专利网为您找到相关结果 146个,建议您 升级VIP下载更多相关专利
- [发明专利]多神经网络执行效率动态优化方法及系统-CN202310805891.7在审
-
李超;孙灵雨;王鑫凯;过敏意
-
上海交通大学
-
2023-07-03
-
2023-10-03
-
G06N3/045
- 一种多神经网络执行效率动态优化方法及系统,在离线阶段针对预设的多神经网络推理负载和异构边缘计算硬件,采用智能搜索算法寻找帕累托最优的调度配置,记录搜索过程中找到的所有候选配置,并为每个候选延迟需求保存对应的低资源占用的调度配置作为最优配置查找表;同时采集每组待部署的神经网络推理负载在不同计算硬件执行状态下的执行延迟并存入执行延迟查找表;在在线阶段根据系统延迟需求,从最优配置查找表中选择匹配的最优调度配置,持续监控执行状态并预测所有神经网络推理负载的剩余总执行时间,通过反馈式频率调节机制确保延迟需求得到满足。本发明既能应对系统所处场景多样性导致的延迟需求变化,也能应对多硬件单元共享内存导致的性能干扰,解决了多个神经网络推理负载如何统一进行调度优化的问题。
- 神经网络执行效率动态优化方法系统
|