[发明专利]边缘计算下异构处理器加速多出口DNN推理的方法

说明书

本发明公开一种边缘计算下异构处理器加速多出口DNN(Deep Neural Networks)推理的方法，首先针对不同负载下的CPU与GPU，分别统计深度神经网络各层在CPU、GPU上的计算成本、各层提前退出分支出口的分类能力以及各网络层中间数据量大小；然后分析数据，得出特定负载情况下，将深度神经网络各层分配给CPU(GPU)处理器的最优并行组合模型；最后在终端设备上在线监测分析CPU、GPU的负载情况、以及当前的计算能力，以最小化推理时延为目标对深度神经网络推理任务进行切分，任务切块分别被分配在GPU与CPU，最终形成基于异构处理器的推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。

技术领域

本发明属于智能终端领域和深度学习领域，具体地说是在具有异构处理器的智能终端中部署智能应用的场景下，实现应用所依赖的深度学习模型推理优化加速的方法，具体涉及一种边缘计算下异构处理器加速多出口DNN推理的方法。

背景技术

近年来，随着深度学习技术的不断发展以及智能手机、智能手环以及各类IOT(Internet of Things)设备等智能终端的快速普及，在智能终端上运行深度学习应用已成为了必然趋势。在这种模式下，智能终端实时采集周围环境以及用户行为等海量数据，并通过多种相应的深度学习算法对这些环境与用户数据进行挖掘分析，如利用深度神经网络构建的目标检测应用、模拟现实场景的虚拟现实应用以及强大的智能生活助手等。这些智能应用往往是数据密集型与计算密集型任务，它所依赖的深度神经网络模型，主要通过增加网络深度、优化网络结构来获得更优的特征表达与学习推理能力，以达到更高的准确率。然而，更深更复杂的模型极大地增加了推理延迟与计算能耗，例如ResNet-50所需的浮点运算量已达到4×10⁹，这些计算成本对于资源有限、能耗敏感的移动智能终端来说难以接受。因此，单靠智能终端的计算能力往往难以满足深度学习处理应用的需求。于是将资源密集型的深度学习任务卸载给强大的云数据中心变成了常用的处理方案，但是，将大量智能终端捕获的原始数据直接传输到云端执行可能会由于不受控制的长广域网延迟和不稳定的主干网络，带来不可预测的性能问题，在移动智能终端上运行深度学习应用面临着巨大的阻力。

为了减少云计算处理模式的延迟和缓解集中式处理的单点压力问题，近几年来学术界提出了一种具有终端设备与边缘服务器协同作用的体系架构——“边缘计算”，即将部分智能服务从云数据中心下沉到边缘设备，在靠近智能终端设备的位置提供计算、存储资源和通信服务，相比于云数据中心，边缘服务器具有高带宽、低延迟的特点，缓解了云数据中心的计算和存储压力，提高可用性，并保护数据安全和隐私。由于边缘节点距离用户较近，则可以为延迟敏感型的智能应用服务，从而满足终端应用的实时性要求。同时，边缘节点也可以对终端上传的数据进行预处理，从而减少核心网络的传输流量。另一方面，对于深度神经网络模型本身的优化，相关研究关注点主要在模型压缩方面，使用知识蒸馏，网络剪枝，参数量化等方法减少模型的参数量与计算量，从而使深度学习模型能成功部署在移动智能终端上。然而，深度神经网络的精度会因模型压缩而降低，且深度学习框架对模型压缩后的稀疏结构的支持并不友好。结合边缘计算这一新型计算模型的优势，许多研究工作逐渐开始将边缘计算与人工智能应用两者进行结合，边缘智能(Edge Intelligence)成为了新的趋势。

为了在边缘计算环境下高效运行深度学习应用，边缘智能的部分相关工作已经在关注终端层、边缘层两者的计算和存储能力特点，将其与深度神经网络的结构特点结合考虑，以减少总体的计算开销和传输时延。现有的方法仍处于初步研究阶段，可以用终端上的方法主要包括以下两类：(1)模型提前退出机制；(2)推理策略加速机制。