[发明专利]面向计算任务流的分布式On-the-Fly编码调度方法及系统

说明书

本发明公开了一种面向计算任务流的分布式On‑the‑Fly编码计算调度及系统。所述方法面向分布式计算框架，针对于不可分割的计算任务，在考虑撤销冗余任务开销不可忽略的场景下，由于分布式计算存在落后者现象，以及多个节点调度问题，通过设计On‑the‑Fly模型编码方案缓解了分布式系统中的落后者问题，使用Round‑Robin调度方式，解决了多个工作节点调度的问题，从而降低了整体任务的平均执行时间。

技术领域

本发明属于分布式系统技术领域，具体涉及一种灵活的面向计算任务流分布式编码计算方法及系统。

背景技术

近年来，随着数据量的不断提升以及人们对娱乐需求的不断增长，对于处理数据的计算需求越来越多。基础线性计算如矩阵乘法，是很多数值计算、机器学习算法中的核心计算，如求解偏微分方程、神经网络的前向后向推进、计算PageRank的图等。在应用方面，不可分割的非线性的机器学习模型正成为许多应用程序的主要工具。服务通过部署模型接受查询和返回的预测服务系统通过对模型进行推断来进行预测。随着CPU以及GPU等硬件的计算能力不断提升，大规模的矩阵-向量乘法以及机器学习模型的推理等计算服务可以在单节点部署，不需要像传统分布式计算切割计算模型。计算任务请求率过高会导致较大的排队时延，往往在计算集群中部署多台工作节点提供计算服务。使用分布式系统执行分布式计算任务时的一个主要问题是存在落后者，即由于网络条件不稳定、虚拟资源争夺等多种因素，部分工作节点的任务完成速度非常慢，部分节点的执行时间甚至达到平均时间的5到8倍，会给部分用户带来较差的用户体验。

为了应对分布式计算中的落后者问题，Hadoop、Spark等分布式计算框架采用心跳检测的方式检查系统中是否出现落后者节点，当工作节点没有及时发送心跳消息给主节点，主节点就会重新分配任务到其它的节点上执行。但这种方式会带来额外的通信开销，并且重新执行任务增加了整体计算延迟。近年来研究者们提出了编码计算模型，当计算任务满足线性运算的特征时以及非线性运算的时候，就可以将计算任务进行编码，然后将编码后的任务发送给不同的工作节点执行，在该模型下主节点只需要收到部分工作节点的返回结果就能够解码出整体任务计算结果，由于不需要等待落后者的计算结果，大大降低了整体任务计算时间。编码计算模型中，任务编码方案和任务调度策略对整体任务的处理时间有较大影响。所以需要设计编码方案以及任务调度策略。

发明内容

本发明的目的是基于主从分布式计算框架下接收流式任务的计算场景，通过提出一种新型的面向计算任务流编码方式，既解决分布式计算中的落后者问题，又避免系统在高负载下大大增加任务排队时间的问题。

技术方案：为了实现以上发明目的，本发明的技术方案如下：

第一方面，一种面向计算任务流的分布式On-the-Fly编码调度方法，包括以下步骤：

(1)主节点接受用户的计算任务，并存储在等待队列中；

(2)主节点根据On-the-Fly编码策略判断是否从等待队列中产生冗余任务，所述On-the-Fly编码策略维护落后窗口，落后窗口内是当前未完成的任务，是产生冗余任务的源任务，所述On-the-Fly编码策略的编码参数为(k,Δt)，表示产生冗余任务的时机，其中k代表每到达k个任务之后会对落后窗口内的所有任务产生一份冗余任务，Δt代表每经过Δt的时间后会对落后窗口内的所有任务产生一份冗余任务；

(3)主节点执行编码并根据调度策略将任务发送到工作节点；

(4)主节点接收工作节点的计算结果，并根据On-the-Fly解码策略判断是否可以解码出其他计算结果，所述On-the-Fly解码策略通过依次遍历冗余任务序号，根据编码生成矩阵的秩是否为任务个数减一，来判断是否可以解码出新的源任务，使用高斯－若尔当消元法获取可以解码出的源任务；

(5)主节点将计算结果返回给用户；

(6)主节点通过深度强化学习优化编码参数。