[发明专利]面向边缘云的DNN推断模型部署能耗优化方法和系统

权利要求书

1.一种面向边缘云的DNN推断模型部署能耗优化方法，其特征在于，所述方法包括以下步骤：

离线信息采集：在部署的初始阶段，获取边缘云中的各异构节点在唤醒状态下的执行功率，并获取异构节点的硬件配置特性、逻辑处理器信息、采用的推断框架和并发加速套件信息，将这些信息作为预测多个推断模型并发执行时推断时延的离线上下文信息；

调度器初始化：在执行推断模型组合在线部署开始时，为每一种DNN推断模型维护一个基于设备信息和组合执行状态的上下文多臂赌博机，用于预测DNN推断模型在不同组合下的硬件吞吐提升比；并为每一个异构节点维护一个额外代价预测赌博机，用于预测异构节点由于网络波动或故障产生的额外开销；

在线部署：在当前时间域内，在每一个时隙初始时，根据当前时刻到达的请求数量和过去时隙内观测到的历史信息，综合探索代价和利用效果，以边缘云中能量消耗整体最优为目标建立优化问题，动态调整每个DNN推断模型在不同的设备上组合执行时硬件吞吐提升比预测值以及额外代价预测值，对于每种DNN推断模型，根据预测值以及异构节点在调度时隙内的最大计算能力，将DNN推断模型优先部署到具有更高硬件吞吐提升比和更低额外代价的节点上执行；

信息收集：在每个时隙结束时，收集各个异构节点在DNN推断模型组合下完成的推断时延、功率消耗以及额外代价开销并存储，当前观测到的信息在各个时间域内均有效；

时间域更新：随着在线部署阶段的不断展开，以指数形式扩展时间域，扩展方法如下：在当前时间域结束后，2倍扩展时间域，即时隙数量为上一时间域数量的2倍，同时将异构节点设备信息和组合执行状态的参数值搜索粒度细化为上一时间域的二分之一。

2.根据权利要求1所述的方法，其特征在于，建立的优化问题如下：

优化目标：

(1)

约束条件：

1.1）对于每种推断模型，每个时隙部署到所有异构节点上的推断数量和到达的请求数量相同：；

1.2）在每个时隙，将DNN推断模型分配给异构节点的决策是整数：；

1.3）DNN推断模型组合上下文信息在实数域上的映射参数值与推断模型在异构边缘节点上的数量关系：；

1.4）异构节点的加速能力离线上下文信息：；

式中，函数和分别表示特定推断模型在异构节点上的不同组合下相比于串行执行的吞吐提升比、以及异构节点在不同时隙时由于网络或故障产生的额外开销；是异构节点的加速能力离线上下文信息，由其设备的各种计算核心数量加权决定，加权值为，表示采用的软件框架的并行能力评估参数，表示异构节点组合执行推断模型时的在线上下文信息，由当前时隙在当前设备上执行的推断模型数量加权决定，加权值为；

在问题模型中，表示异构节点在执行组合推断任务的唤醒状态时所消耗的功率，表示能耗的减少给边缘云系统带来的收益权重，表示当发生额外开销时边缘云系统的减益权重，表示推断模型在设备上单独执行时的推断时延，表示在时隙到达的特定推断模型总请求量，T表示调度时隙的总数量。

3.根据权利要求2所述的方法，其特征在于，对优化问题的求解包括：

将优化问题(1)分解到每一个时间域中的每个时隙，在每一个时隙结束的时候，实际求解如下优化问题：

优化目标：(2)

约束条件：；

式中，表示由推断模型组合分配方案决策变量对应的实数域的值构成的决策向量；为具有并行加速器的异构节点上资源的限制函数向量，以满足约束条件，包含约束1.1）；约束条件1.3）和约束条件1.4）被代换到求解表达式（2）中，是异构节点吞吐能力提升比预测值的倒数；

表示当前时隙所处的时间域，在每个时间域的每个时隙，在实数域上采用基于凸优化的梯度下降方法对优化问题(2)进行求解，得到实数域结果，用于在t时隙被应用部署。