[发明专利]一种基于全局信息的DNN任务卸载决策方法

说明书

本发明实施例提供了一种基于全局信息的DNN任务卸载决策方法，包括：S1、响应于多个移动端的任务卸载请求，根据移动端的数量和DNN任务的层数生成对应的策略矩阵；S2、根据策略矩阵获取所有可能的卸载策略，每个卸载策略对所有移动端中每个移动端的DNN任务的卸载位置进行定义；S3、预测所有DNN任务的子任务对应的参考时延信息，包括该子任务的本地处理时延、服务器处理时延和对应的卸载传输时延；S4、基于参考时延信息确定每种卸载策略下各移动端的卸载任务到达边缘服务器的抵达时延和任务量；S5、对于每种卸载策略，计算该卸载策略对应的总时延；S6、从所有的卸载策略中选取总时延最小的卸载策略作为卸载决策。本发明可提高边缘辅助计算的整体效率。

技术领域

本发明涉及深度神经网络任务的边缘计算领域，具体来说涉及深度神经网络任务的优化卸载领域，更具体地说，涉及一种基于全局信息的DNN任务卸载决策方法。

背景技术

现如今，深度学习广泛应用于众多移动端的应用程序中，比如苹果智能语音助手(Siri)和谷歌助理(Google Assistant)。然而，大多数的深度学习模型都需要复杂的计算，并且很难在移动端上以有限的计算资源计算其推理结果。因此，目前常用的方法是将深度学习任务卸载到云上，即移动云计算(Mobile Cloud Computing，简称MCC)，云具有丰富的计算资源和强大的计算能力，可以处理复杂的计算任务。

由于云通常情况下与移动端距离很远，处理延迟通常大于100ms。这给延迟敏感的应用程序带来了糟糕的体验质量，这也是MCC的瓶颈。

为了缓解这一问题，移动边缘计算(Mobile Edge Computing，简称MEC)应运而生，通过布置在移动端附近的单个或者多个边缘服务器接收并处理移动端卸载的任务，从而加快计算密集型任务的处理过程来减轻移动端的计算负担。MEC中最直接的方法是将所有的计算从移动端转移到边缘服务器，目前已有许多研究。在一些研究中，研究者考虑了采用二进制卸载策略的无线MEC网络，通过0或者1来分别表示无线设备的每个计算任务在本地执行或者完全卸载到MEC服务器；然后，研究者提出了一个基于深度强化学习的在线卸载框架，该框架最优的适应了时变无线信道条件下的任务卸载决策和无线资源分配。在另一些研究中，研究者提出了一个分布式框架，该框架将移动端与更强大的后端服务器捆绑在一起，从而允许深度学习在本地执行或卸载到服务器。该框架能够结合应用程序的需求，智能的通过估计的方法来协调当前对网络情况和后端服务器负载情况，进而确定最佳策略。可以发现，在上述研究中，虽然将数据卸载到附近的边缘服务器是节省时间的，但是由于移动端的计算能力没有得到充分的利用，又或者多个移动端同时卸载数据导致边缘服务器的计算时延增加，再加上传输时延，使得整体的效率不高。特别是大量移动端的任务卸载顺序彼此独立时，则某一时刻可能这些移动端同时将所有数据都卸载到边缘服务器上，那么此时传输时延和边缘服务器的计算时延都可能大幅增加，而该时刻之后，边缘服务器又可能较长时间处于空闲的状态，不仅没有充分利用边缘服务器的资源，还可能影响用户体验。

为了提高MEC计算资源的利用率，部分卸载是一种可行的方法。实际上，部分卸载在MCC中已经得到了很好的研究，但在MEC中，部分卸载深度学习的任务存在很多的挑战。第一个挑战是，MCC中的许多工作都是通过自动程序分析来执行部分卸载，其中使用基于图的模型来区分子图和子图之间的相互作用。然后应用图划分算法来获得子图。但是对于深度学习任务，由于计算复杂度极高，很难进行自动程序分析。第二个挑战是多个移动端任务的联合优化调度，特别是对复杂的执行顺序决策。因此，虽然联合优化调度算法在单用户场景中得到了广泛的研究，但在多用户场景中联合优化调度的研究却很少。

为应对第一个挑战，许多工作利用深度学习的特定内部结构来研究如何实现部分卸载。一些研究者通过对单个移动端的DNN任务进行划分以实现单个移动端的时延最优。另一些研究者提出一个基于资源受限的物联网边缘集群的卷积神经网络(CNN)推理应用的自适应分布式执行框架DeepThings，其使用可伸缩的卷积层融合块分区(FTP)来最小化内存占用，同时提高并行性。