[发明专利]边缘计算下异构处理器加速多出口DNN推理的方法

权利要求书

1.边缘计算下异构处理器加速多出口DNN推理的方法，其特征在于，包括如下步骤：

步骤1，在已有的数据集上，分析深度神经网络各层的输出特征图的数据量大小，对各层分支出口的分类能力、在异构处理器上的计算开销差异以及中间特征的数据量传输延迟进行量化表示，构建量化模型；

步骤2，针对不同的处理器负载情况下，即，在不同的CPU利用率、GPU利用率情况下，在步骤1的“量化模型”、“各层分支出口的分类能力”以及“中间特征的数据量传输延迟”三者之间决策，从而确定最终基于异构处理器的推理组合；

步骤3，结合步骤2中对传输阶段的中间特征图处理方法，将深度神经网络部署至终端异构处理器的环境下，CPU层实时监测系统中的设备资源负载情况与当前处理器的计算能力，以最小化时延为目标对多路径的深度学习推理模型进行切分，将计算分割为“GPU-CPU”两部分，按照最佳性能将不同网络层的推理任务分别卸载到CPU或GPU上，实现在线的推理加速。

2.如权利要求1所述的边缘计算下异构处理器加速多出口DNN推理的方法，其特征在于：所述步骤1的具体内容是：

步骤101，分析卷积层、池化层、激励层和全连接层的内部参数结构，参数包括卷积核窗口大小、池化窗口大小、滑动步长、激励函数和输出神经元个数，计算各类型层的浮点运算量；

步骤102，在实际环境中，测试各类网络层在设备上的执行情况，修改层的参数改变浮点运算量，同时改变系统CPU利用率、统计各种情况下的时间开销，制作数据集用于训练预测推理耗时的回归模型；

步骤103，在深度神经网络的每个卷积层后添加分类器作为浅层出口，与模型主干同时训练，浅层出口使用独立的损失函数，模型主干使用联合损失函数；

步骤104，训练时使用交叉验证法，获得每个出口在不同验证集上的准确率，假设深度神经网络共有n-1个备选出口，其中不包含主干出口，进入分支的样本都有一定的概率达到置信度，可以退出网络，各分支出口的退出概率用先验统计概率p_i来表示，P＝{p₀，p₁，p₂，p₃，...，p_n-1，p_n}，假设p₀为虚拟出口，p₀＝0；p_n表示多出口网络主干网络的出口退出概率，p_n＝1；设置μ_i为执行第i个网络层的概率，f(μ_i，p_i)为执行第i个分支退出的概率，其中f(μ_i，p_i)＝μ_i*p_i；

步骤105，从初始输入到每个出口所经过的计算层，形成n条推理路径，其中，最长的路径为模型主干，使用步骤102的回归模型所预测主干各网络层使用CPU/GPU计算所需的时间开销分别为即：各出口路径的网络层使用CPU/GPU计算所需的时间开销分别为即：令模型推理任务执行到第i个网络层后的中间数据量大小DS_i，其中i∈[0,n],DS_i从GPU到CPU的传输延迟为：其中BW_pcie表示PCIE带宽。