[发明专利]一种DNN任务卸载的方法

说明书

本发明实施例提供了一种DNN任务卸载的方法，包括：B1、移动端向边缘服务器发出任务卸载请求，获取边缘服务器反馈的将任务时段划分为多个时隙的信息；B2、移动端根据多个时隙的信息生成预期策略并获取邻居移动端的预期策略，预期策略中将DNN任务按层划分为在移动端本地执行的前期任务和在边缘服务器的相应时隙处理的后期任务；B3、移动端根据自身的预期策略和最新获得的邻居移动端的预期策略估算各时隙的服务处理时延，以自身成本最小化为优化目标更新预期策略，重复该步骤直至获得边缘服务器按照预设的规则确认移动端已获得最优预期策略的信号并将最新的预期策略作为卸载策略；B4、移动端根据卸载策略将后期任务中的子任务卸载到指定的时隙执行。

技术领域

本发明涉及深度神经网络任务处理领域，具体来说涉及深度神经网络任务的任务拆分卸载领域，更具体地说，涉及一种DNN任务卸载的方法。

背景技术

深度学习现在广泛应用于各种移动端，然而，大多数深度学习模型需要进行复杂的计算，在移动端上使用有限的计算资源很难计算其推理结果。因此，目前常用的方法是将深度学习任务卸载到云上，即移动云计算(Mobile Cloud Computing，简称MCC)，它具有丰富的计算资源和强大的计算能力，可以处理复杂的计算任务。然而，由于云通常远离移动端，处理时延通常大于100ms。这导致用户在使用对时延敏感的应用程序时的用户体验很差，这也是移动云计算的瓶颈。为了缓解这一问题，移动边缘计算(Mobile EdgeComputing，简称MEC)应运而生，通过布置在移动端附近的单个或者多个边缘服务器接收并处理移动端卸载的任务，从而加快计算密集型任务的处理过程来减轻移动端的计算负担。

目前，随着深度学习技术的发展和移动端计算能力的不断增强，一些基于深度学习的应用被部署在移动端中，如苹果智能语音助手(Siri)和谷歌助理(GoogleAssistant)。但是，移动端的计算能力有限，一些移动端处理深度学习任务的时延较高，也可能让移动端的电量消耗过快，因此，将移动端上的深度学习任务卸载到边缘服务器上，是满足深度学习任务高计算量和低时延需求的一种可行方法。移动边缘计算中最直接的方法是将所有的计算从移动端转移到边缘服务器，目前已有许多研究。虽然将数据卸载到附近的边缘服务器通常是节省计算时间的，但是由于移动端的计算能力没有得到充分的利用，又或者多个移动端同时卸载数据导致边缘服务器的计算时延增加，再加上传输时延，使得整体的效率不高。特别是大量移动端的任务卸载顺序彼此独立时，则某一时刻可能这些移动端同时将所有数据都卸载到边缘服务器上，那么此时传输时延和边缘服务器的计算时延都可能大幅增加，而该时刻之后，边缘服务器又可能较长时间处于空闲的状态，不仅没有充分利用边缘服务器的资源，还可能影响用户体验。

为了提高移动边缘计算的资源的利用率，部分卸载是一种可行的方法。实际上，部分卸载在移动云计算中已经得到了很好的研究，但在移动边缘计算中，部分卸载深度学习的任务存在很多的挑战。

首先，由于深度学习任务计算复杂度极高，很难进行自动程序分析。如何在没有集中控制的情况下完成部分卸载更是一大挑战。MEC不具有MCC中的云所具有的所有移动端的全局视图，MCC中通常采用集中式调度策略，MEC中的边缘服务器是地理分布的，难以掌握所有移动端的全局信息。因此，在MEC中获取全局最优调度策略是不切实际的。为了解决这一问题，许多学者对MEC的分布式调度策略进行了研究。一些研究者提出了一种用于边缘计算的分布式应用程序任务调度框架Petrel，其实现了基于样本的负载均衡技术，并根据任务类型进一步采用了自适应调度策略。这种应用感知调度不仅提供了QoE保证，而且提高了整体的调度性能。在另一些研究中，研究者试图在MEC难以实现调度信息和网络状态时进行负载均衡，提出了一种自适应神经模糊推理系统，该系统可以处理信息受限的调度问题，提高用户的服务质量。但是上述工作通常基于历史调度信息制定调度策略，增加了移动端的存储负担。

其次，如何对多个移动端任务进行联合优化调度，特别是对复杂的执行顺序决策。虽然联合优化调度算法在单用户场景中得到了广泛的研究，但在多用户场景中联合优化调度的研究却很少。