[发明专利]面向计算任务流的分布式On-the-Fly编码调度方法及系统

权利要求书

1.一种面向计算任务流的分布式On-the-Fly编码调度方法，其特征在于，所述方法包括以下步骤：

(1)主节点接受用户的计算任务，并存储在等待队列中；

(2)主节点根据On-the-Fly编码策略判断是否从等待队列中产生冗余任务，所述On-the-Fly编码策略维护落后窗口，落后窗口内是当前未完成的任务，是产生冗余任务的源任务，所述On-the-Fly编码策略的编码参数为(k,Δt)，表示产生冗余任务的时机，其中k代表每到达k个任务之后会对落后窗口内的所有任务产生一份冗余任务，Δt代表每经过Δt的时间后会对落后窗口内的所有任务产生一份冗余任务；

(3)主节点执行编码并根据调度策略将任务发送到工作节点；

(4)主节点接收工作节点的计算结果，并根据On-the-Fly解码策略判断是否可以解码出其他计算结果，所述On-the-Fly解码策略通过依次遍历冗余任务序号，根据编码生成矩阵的秩是否为任务个数减一，来判断是否可以解码出新的源任务，使用高斯－若尔当消元法获取可以解码出的源任务；

(5)主节点将计算结果返回给用户；

(6)主节点通过深度强化学习优化编码参数。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中，主节点将计算模型提前部署在工作节点上，同时保持连接一直等待用户发送计算任务，并缓存在本地。

3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中，主节点的编码过程包括：从落后窗口队列中取出所有的计算任务；对所有的计算任务进行一次随机线性编码；用Round-Robin的方式发送到计算节点上。

4.根据权利要求3所述的方法，其特征在于，Round-Robin发送方式包括：主节点每一次把来自用户的计算请求以及产生的冗余计算请求轮流分配给内部中的工作节点，从1开始，直到达到内部工作节点个数N，然后重新从1开始循环。

5.根据权利要求1所述的方法，其特征在于，所述高斯－若尔当消元法包括：

每一个循环过程中，先寻找到主元，并将主元通过行变换移动到矩阵的主对角线上；

将主元所在的行内的所有元素除以主元，使得主元化为1；

主元所在的列上的其他元素，将它们所在的行减去主元所在的行乘以指定的倍数，使得主元所在的列内、除主元外的其他元素化为0；

重复以上操作，将主元所在的列化为了单位矩阵的形式。

6.根据权利要求1所述的方法，其特征在于，所述步骤(6)中，深度强化学习借助于深度神经网络，能够让主节点自主与由计算节点组成的集群进行交互，通过减少平均任务时延不断更新On-the-Fly编码参数。

7.通过根据权利要求6所述的方法，其特征在于，使用的深度强化学习算法是DuelingDQN算法；深度强化学习算法状态为(未计算任务个数，任务服务时间，任务种类)；深度强化学习算法动作为(k,Δt)；深度强化学习算法奖励为落后队列长度的负值。

8.一种面向计算任务流的分布式On-the-Fly编码调度系统，其特征在于，包括主节点和若干工作节点，所述主节点被配置为根据权利要求1-7中任一项所述的面向计算任务流的分布式On-the-Fly编码调度方法进行计算任务的调度，所述工作节点基于主节点的指派从自己的任务队列中获取并运行计算任务并返回给主节点。

9.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如权利要求1-7中任一项所述的面向计算任务流的分布式On-the-Fly编码调度方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的面向计算任务流的分布式On-the-Fly编码调度方法的步骤。