[发明专利]一种面向实时云平台的任务调度与资源分配方法及系统

说明书

技术领域

本发明涉及实时云计算领域，尤其涉及一种面向实时云平台的任务调度与资源分配方法及系统。

背景技术

当今社会的数据量日益膨胀，而且数据越来越多地以大规模、连续的流的形式出现。数据的价值随着时间的流逝而降低，所以要求数据出现后尽快地对它们进行处理，而不是缓存起来进行批处理。例如，搜索引擎每秒钟处理成千上万次查询，每个页面包含多个广告，为了及时处理用户反馈，需要一个低延迟、可扩展、高可靠的处理引擎。传统的DBMS或采用Map/Reduce来进行实时数据流处理的方法都很难满足应用需求。

为此，国内外出现了很多流计算平台，如Yahoo!的开源流计算平台S4(Simple Scalable Streaming System)、Twitter开发的Strom、商用平台StreamBase、Facebook的流处理系统Puma等；国内也有很多类似的系统，包括Baidu下一代数据流系统DStream、淘宝实时流式数据分析平台Beatles等。这些分布式系统能够显著的提高数据的处理能力、降低数据的处理延迟。

低延迟海量数据流处理的新需求，给任务与节点之间的调度与资源分配带来了新的挑战，目前主流实时云平台存在以下一些问题：

1、现有的实时云平台，如Twitter的Storm，把任务作为独立的单元进行分配，未考虑任务间的相互关系，而实际从提高平台效率的角度考虑，相互关联的任务应该被分配到相同或相邻节点上；

2、现有的实时云平台只考虑了任务的CPU、内存的使用情况，未考虑任务之间的通信量，以及任务的上下游关系；

3、现有的实时云平台只考虑了初始或静态的分配问题，而忽略了平台是开放的、任务和节点是动态变化的这一重要特征，平台运行过程中的分配策略将成为限制其效率的重要因素；

4、经典的多核任务分配算法复杂度较高，在核数少、任务量少的情况下具有优势，而云平台的数据量、任务量、节点规模都超越了传统算法的处理范围，从而使得实时云平台的分配算法紧迫而必要。

综上所述，我们需要一种时间复杂度低、能满足实时云平台动态计算、适用云环境动态变化等情况的任务调度和资源分配算法，以提高云平台的任务分配效率和资源利用率。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种面向实时云平台的任务调度与资源分配方法及系统，其时间复杂度低、能满足实时云平台动态计算、适用云环境动态变化等情况的任务调度和资源分配，能有效提高云平台的任务分配效率和资源利用率。

本发明解决上述技术问题的技术方案如下：一种面向实时云平台的任务调度与资源分配方法，包括如下步骤：

步骤1：全局状态存储模块获取云平台的运行状况，将运行状况上报给全局状态监控模块；

步骤2：全局状态监控模块根据运行状况，利用任务分配矩阵ST、任务邻接矩阵TT和掩码矩阵TTM制定相应的调度策略；

步骤3：根据调度策略在实时云平台中进行节点驱动型和/或任务驱动型任务调度与资源分配。

本发明的有益效果是：

1、分配任务时充分考虑任务之间的关系、降低节点之间的通信量、减少带宽压力，从而提高平台性能；

2、很好的适应云平台动态调度的各种情况，保证云平台在运行过程中时刻保持较高的计算性能和资源利用率；

3、计算复杂度低，适合在具有大规模节点和大任务量的云环境中部署使用。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述任务分配矩阵ST为n行m列的矩阵，行表示节点，列表示任务，

所述任务邻接矩阵TT为m行m列的矩阵，表示任务之间的连接情况，

所述掩码矩阵TTM为m行m列的矩阵，表示节点内任务之间的内连接情况，与任务邻接矩阵TT相乘，得到的结果代表任务间外连接的情况，

进一步，步骤3中，所述节点驱动型任务调度与资源分配情况包括新增节点、节点过载、节点宕机和节点计划移除的情况；

a1.针对新增节点的情况，具体实现为在任务分配矩阵ST中新增一行，对应的元素置零；

a2.针对节点过载的情况，具体实现为选择目的节点，将过载节点上选择的待迁移任务迁移到目的节点上，同时对应修改任务分配矩阵ST和掩码矩阵TTM，

其中，选择目的节点满足条件为，目的节点未过载；过载节点和目的节点间连接数最大；