[发明专利]基于手机协同嵌入式设备的深度学习任务执行系统及方法

说明书

本发明涉及一种基于手机协同嵌入式设备的深度学习任务执行系统及方法，该系统包括相互通信连接的嵌入式设备(用作任务主体)和智能手机(用作协作设备)，二者之间基于预设的流水线协作方案，实现深度学习任务的并行协同处理。该方法包括：采用训练集剪枝的方式，构建深度学习网络模型；确定当前任务场景下的通信时间、嵌入式设备以及智能手机的数据处理时间，并结合设定的判断条件，确定出流水线方案；按照该流水线方案，将深度学习网络模型搭载于嵌入式设备或智能手机，由嵌入式设备接收输入数据，并与智能手机协同执行深度学习任务。与现有技术相比，本发明适应多种深度学习任务场景，能够加快任务执行速度、确保实时性、提高任务执行效果。

技术领域

本发明涉及深度学习任务调度技术领域，尤其是涉及一种基于手机协同嵌入式设备的深度学习任务执行系统及方法。

背景技术

随着深度学习技术的不断发展，其在实际生活中的应用场景越来越广泛。但值得注意的是，由于硬件平台的发展相对滞后，当面对昂贵的嵌入式平台计算资源，使得深度学习任务在实际应用中受到了严重阻碍。目前，工程实践中往往采用降低模型计算复杂度的方式，但却容易导致深度学习任务无法获得准确可靠的结果。

现如今，深度学习任务在嵌入式设备上已经得到了广泛的运用，主流的嵌入式设备实现快速模型的推理主要有以下三个架构：1)设备端计算，其中模型在嵌入式设备中运行；2)基于边缘服务器的架构，将嵌入式设备中的数据发送到一个或多个边缘服务器中进行运算；3)嵌入式设备、边缘服务器和云之间的联合计算。三种架构如图1a～1c所示。

在设备端计算的架构中，研究人员主要从算法和硬件两个方向来实现模型在嵌入式设备上的部署以及减少推理时延。在算法方面，研究人员主要关注于如何对模型的参数进行压缩存储和减少模型参数量加速模型推理速度。在模型设计之初时，考虑到嵌入式应用场景，研究人员通常会将计算时间复杂度与模型精度作为两个非常重要的标准。此类模型典型的包括MobileNets、SqueezeNet和YOLO等，并且此类轻量化模型仍然在不断的研究当中。MobileNets是将卷积滤波器分解成两个更简单的操作，从而减少所需要计算的次数。YOLO是经典的一阶段目标检测模型，模型单次检测就可以联合预测出物体的位置和类别。SqueezeNet通过替换卷积核大小并减少卷积通道数实现参数量的减小。除人工设计轻量化神经网络模型外研究人员也在探究如何将已有的网络进行压缩，从而实现在嵌入式设备上运行。根据神经网络在不同方面的冗余，分别使用网络的分支裁剪、减少网络权重占用的比特数、对卷积核进行低秩分解、知识蒸馏等方法，对已有的网络模型进行压缩。这些方法可以模型降低对空间和计算能力的要求，实现在边缘设备上的推理。

在硬件方面，有研究提出在嵌入式边缘设备中集成用于神经处理的专用硬件加速器。作为专用处理单元的加速器为神经网络模型应用程序提供更快、更节能的计算解决方案。在嵌入式设备中存在的典型的神经网络加速器包括NVIDIA Jetson AGX Xavier GPU的张量核心、Intel Myriad X VPU中的VLIW矢量处理器、Tesla FSD芯片的乘法累加(MAC)单元和Google Edge TPU的收缩阵列。这些神经加速器的执行通常遵循主机-设备模型，其中主机CPU启动应用程序的一系列神经计算内核，然后将其卸载到实现神经网络优化数据路径的设备加速器。也有研究人员探索研究了计算平台内部的并行能力，将工作负载拆分成为流水线阶段，使用多个处理单元使他们的执行重叠。例如Yang等人提出了一种流水线执行方法，以增加使用多个GPU的计算机视觉应用程序的系统吞吐量。PipeDream尝试在HPC环境中使用多个GPU来利用内层切片和网络流水线方法进行神经网络训练。但是，这个多GPU方案在资源有限的嵌入式设备中作为神经网络模型的加速方案能起到的作用有限。