[发明专利]一种边缘环境下DNN应用计算卸载自适应中间件构建方法

说明书

本发明涉及一种边缘环境下DNN应用计算卸载自适应中间件构建方法，包括以下步骤：步骤S1：构建卸载机制，所述卸载机制的输入为DNN源码，输出为可卸载的DNN目标代码；步骤S2：构建评估模型，所述评估模型的输入为环境配置和应用源码，输出为最优卸载方案。本发明通过实现支撑设计模式及评估模型的DNN应用自适应计算卸载中间件，它能够支持上述卸载设计模式，并利用代价评估模型决定应用程序的最优卸载方案以进行计算卸载。

技术领域

本发明涉及人工智能领域，特别是一种边缘环境下DNN应用计算卸载自适应中间件构建方法。

背景技术

人工智能领域的兴起促进移动设备的革新，智能个人助理(IntelligentPersonal Assistant，IPA)受可穿戴产品和智能家居的牵引而被广泛应用，例如，苹果的″Siri″助手等。这些智能移动应用程序的主要界面是使用语音或图像的方式通过设备与用户进行交互的。受该交互模式的影响，传统的基于文本的输入方式预计将被取代，因此IPA将发展为日后移动设备不可或缺的交互模式，改善IPA的性能从而提升用户体验感成为一种新兴的趋势。而为IPA应用程序处理语音和图像输入，需要高度复杂且计算精确的机器学习技术，其中最常见的类型为深度神经网络(″Deep Neural Network，DNN″)。由于深度神经网络能够实现语音辨识、图像归类、自动驾驶汽车和自然语言处理等高精度的任务，故它作为核心的机器学习技术备受智能应用的欢迎。当前许多主流公司，包括谷歌、微软和百度在内，都在其生产系统的许多应用中使用DNN作为机器学习组件。

DNN模型在推理和训练时需部署在设备或机器上，在大多数上述场景中，经过训练的深度学习模型通常部署于移动设备上，也称为纯移动设备技术。然而，受限于移动设备上的计算和存储资源，基于DNN的应用程序进一步利用云服务器来提高计算和存储性能，从而全面部署高级深度模型，即纯云技术。因此，在这种被称为纯云的方法中，模型的输入应从本地设备发送到云中心，并将输出发送回设备，这样与DNN应用推理过程相关的计算可以利用云服务器进行扩展，从而被高效地执行。但是，在缓解计算压力的同时，纯云技术要求移动设备通过无线网络传输大量数据，如图像、音频和视频，这可能导致移动设备的延迟和能耗。不仅如此，在移动设备同时向云发送大量数据的情况下，在云中执行的所有计算均可能因为拥塞而影响响应时延，用户体验无法得到保证。

为解决上述问题，近期部分研究工作提出了一种在移动设备和云之间划分深度推理网络的思想，这是一种纯移动设备和纯云方法之间的折衷技术。他们的工作表明，推理网络的深层，即神经元间均存在连接的全连接层，往往有较大的计算量，这类计算密集型DNN层最好能在计算能力强的节点上执行以提升计算效率；而推理网络的浅层，即提取特征的卷积层则相反，往往有较大的数据传输量，因而更适合在移动设备上执行，避免传输至云服务器时带来的开销。为说明不同层类型的不同特点，图1展示了一个典型的深度神经网络模型AlexNet的结构，该模型作为图像识别应用的技术核心，已成为各类智能应用的基础并得到了广泛的应用。该图描述了模型在移动设备上运行时，各层的执行延时和传输数据量的情况，横轴表示层的命名，纵轴表示延时和数据大小，方块为各层延时，斜线为层间输出。由图可得，全连接层，即命名为fc开头的DNN层，层延时较大，说明计算量影响了层的执行，若该类DNN层在计算能力强的节点上执行，则可避免执行时延造成的总体响应瓶颈；同时，层间输出的数据大小也存在较大的差异。例如，在conv1-1和relu1-2之间传输的数据量非常大，而它们的层延时较小，因此最好在同一计算节点上执行这两个层。且通过经验可得，在这种模型中，深层DNN具有更小的数据传输量。因此，与直接将模型的输入发送到云端计算相比，这类方法可以减少不必要的传输延迟，且可根据计算延时决定是否通过云端扩展。综上所述，基于DNN的应用程序通过计算分区不但可以减少云上的拥塞，从而增加其吞吐量，而且可以权衡计算延时和传输延时，从而提升总体响应性能以改善用户体验。