[发明专利]一种面向边缘无线网络中UDL任务的在线调度系统及方法

说明书

本发明公开了一种面向边缘无线网络中UDL任务的在线调度系统及方法，UDL任务的训练数据是由每个跨区域站点收集并提供的，且UDL任务均匀地从每个跨区域站点中选取足量的训练数据进行模型训练以保证模型的无偏性。本发明能够在UDL任务在线到达的情况下(不知道任何未来任务信息)，对其进行调度，在最小化响应延迟(训练时间)的同时降低边缘无线网络中跨区域分布站点间昂贵的带宽成本。边缘机器学习系统可根据本发明确定UDL任务的部署和数据传输，以谋得最小化总训练成本。本发明结合了线性规划建模，经典的贪心算法等，从理论上证明了其正确性和多项式运行时间。本发明的方法较于功能相同的算法更高效。

技术领域

本发明属于机器学习技术领域，涉及一种在线调度系统及方法，具体涉及一种面向边缘无线网络中无偏分布式机器学习(UDL)任务的在线调度系统及方法。

背景技术

5G和边缘计算的发展与突破，推动了诸如智能视频监控、智慧城市、自动驾驶等智能物联网应用的发展。传统的机器学习(ML)任务的训练数据集通过到达时输入并在远程云中进行集中训练，与之不同的是，上述物联网服务为了减少响应延迟和保护隐私，在网络边缘进行任务训练，以支持实时推理和响应。此外，为了保证服务质量，训练一个无偏模型(即一个具有高适用性的模型，可以在所有站点中使用以提供有效的推理)是至关重要的，该模型的训练数据是从每个跨区域站点中选择的足够数量的数据，以表示边缘无线网络中的数据源。我们将上述需求的物联网应用服务任务定义为无偏分布式机器学习(UDL)任务。例如，为了支持智能交通管理系统，安装在每个十字路口的摄像头会收集实时道路交通数据，然后上传到一个边缘云进行处理。

UDL任务的训练通常在边缘进行，采用数据并行的方式和参数服务器(ParameterServer,PS)框架。然而，UDL任务在边缘训练是非常不凡的。响应延迟和带宽消耗之间存在折衷。为了减少响应延迟，大多研究倾向于将所有数据集中到一个地方进行训练。这样的方式，虽然可以通过消除计算节点和参数服务器节点之间的通信时间来加快训练过程，但是这种集中训练的方式会消耗大量的跨站点无线带宽。而在边缘网络中，无线带宽是昂贵且稀缺的。考虑到不同任务对响应延迟的不同敏感性，存在一个问题：如何确定任务分配部署计算节点和参数服务节点(资源分配)的顺序，以实现响应延迟最小化。考虑到不同边缘站点中资源和数据的异构性，存在一个挑战性问题：如何确定每个站点中的训练数据量，并安排部署与之匹配的计算节点的数量，从而使带宽成本(用于训练数据传输以及计算节点和参数服务器系节点之间的参数交换)最小化。

当今云系统中普遍采用的调度算法遵循简单的策略，例如先进先出(FIFO)或优势资源公平调度(DRF)，并要求任务所有者提供准确的计算节点/参数服务器节点的数量和训练时间，并且忽略带宽成本和任务对响应延迟的异构敏感性。边缘网络的相关工作主要是研究其他问题，如卸载问题或开发新的训练算法。由于UDL任务在边缘训练的独特特性，需要确定UDL任务每一时隙的执行时间窗口、训练数据量、计算节点和参数服务器节点的部署数量和位置以及数据传输，以实现响应延迟和带宽成本最小化。

但即使实在离线的情况下(即所有信息已知)，总训练成本最小化问题也是一个属于NP-hard的混合整数非线性问题。当UDL任务在线到达时，挑战进一步升级，并且需要在不提供任何未来任务信息的情况下确定当前调度决策。

发明内容

为了解决上述问题，本发明提供了一种有效的启发式无偏分布式机器学习任务调度系统及方法。UDL任务到达后在每个时隙计算确定该时隙执行时间窗口、训练数据量、计算节点和参数服务器节点的部署数量和位置以及数据传输。首先对问题进行建模(建模为混合整数非线性问题)，然后基于经典的贪心算法框架来决定任务的部署和数据传输。

本发明的系统所采用的技术方案是：一种面向边缘无线网络中UDL任务的在线调度系统，包括边缘分布式机器学习子系统、站点、UDL任务；

所述边缘分布式机器学习子系统，由R个跨区域分布的站点组成；