[发明专利]面向边缘云的DNN推断模型部署能耗优化方法和系统

说明书

本发明公开了一种面向边缘云的DNN推断模型部署能耗优化方法和系统。所述方法在每个调度时隙内根据异构边缘节点的硬件属性配置并发DNN模型的推断组合，通过积累多个时隙不同DNN模型组合在异构边缘节点的执行时延的历史信息，利用基于上下文的组合多臂赌博机为当前时刻的DNN模型组合分发提供依据，从而不断调整当前时隙的DNN推断模型部署策略，降低异构节点的峰值负载时间，从而降低整体执行功率消耗。本发明能够在边缘云计算环境下优化系统能耗，提高能源利用率，且可以自适应地应对不同的工作负载，适用于各种边缘计算场景。

技术领域

本发明涉及数据中心网络以及资源调度领域，具体涉及一种面向边缘云的DNN推断模型部署能耗优化方法和设备。

背景技术

随着深度学习技术的不断发展和应用场景的扩大，基于神经网络的推断模型，即DNN推断模型，已成为众多人工智能应用的核心。然而，这些DNN模型的运行需要大量的计算资源和能源消耗，特别是在边缘计算环境中，由于设备功耗限制和电池寿命等问题，能源消耗的优化变得尤为重要。在这种背景下，采用并行加速器来提高推断模型的运行速度已成为主流。但是，这种做法在DNN推断模型不被使用时，仍需消耗静态功率，导致了能源浪费。同时，由于边缘计算环境下推断请求的动态变化，需要及时调整推断模型的部署和能耗控制策略，以保证能耗和性能的平衡。

为了实现在边缘云计算环境中的能耗优化和性能优化，许多研究者提出了各种各样的方法，比如针对不同的神经网络结构和算法特点，选择合适的硬件平台和加速器设备，并对其进行适当的配置和优化，或者采用合适的推断模型部署策略来实现能耗控制，在模型部署时，可以将模型的不同层次分配到不同的加速器设备上，以降低设备的空闲能耗，但是模型的不同层次在划分到不同设备上时，需要进行数据的传输和同步，会增加通信成本和延迟；或者根据推断请求的实时变化情况，动态地调整加速器设备的工作状态和能耗消耗策略，但是这种方法需要事先对推断请求的实时变化情况进行准确的监测和分析；亦或通过模型剪枝、量化、分组卷积等技术来优化模型的计算复杂度，从而降低能耗，通过基于遗传算法、强化学习等的算法，自适应地调节加速器设备的功率和计算负载，以实现更高效的推断过程，但是优化模型的计算复杂度可能会对模型的准确性造成一定影响，需要在准确性和能耗之间进行权衡和优化。

如何在不改变DNN推断模型的基本结构和复杂度的前提下，优化异构边缘推断系统的能耗，实现能源消耗和计算性能的最优平衡，是值得研究也是切实需要解决的问题。

发明内容

本发明的目的是提出一种面向边缘云的DNN推断模型部署能耗优化方法和设备，通过对神经网络模型的结构、算法和计算负载进行优化，实现了推断过程中的能耗控制和性能优化。同时，结合动态的推断请求变化，采用自适应的能耗调控策略，实现了能源消耗和计算性能的最优平衡。

为了达到上述发明目的，本发明采用以下技术方案：

第一方面，一种面向边缘云的DNN推断模型部署能耗优化方法，包括以下步骤：

离线信息采集：在部署的初始阶段，获取边缘云中的各异构节点在唤醒状态下的执行功率，并获取异构节点的硬件配置特性、逻辑处理器信息、采用的推断框架和并发加速套件信息，将这些信息作为预测多个推断模型并发执行时推断时延的离线上下文信息；

调度器初始化：在执行推断模型组合在线部署开始时，为每一种DNN推断模型维护一个基于设备信息和组合执行状态的上下文多臂赌博机，用于预测DNN推断模型在不同组合下的硬件吞吐提升比；并为每一个异构节点维护一个额外代价预测赌博机，用于预测异构节点由于网络波动或故障产生的额外开销；