[发明专利]基于网络带宽估计的云计算任务调度方法

说明书

技术领域

本发明涉及计算机网络领域，特别涉及任务调度技术，具体涉及一种基于网络带宽感知的云计算任务调度方法。

背景技术

随着海量数据处理（如Web日志分析、OLAP、OLTP）的广泛应用，面向海量数据处理的云计算平台（如MapReduce、Hadoop、Dryad等）发展迅速。

这些云计算平台以无共享（Shared Nothing）架构部署于数据中心。在数据存储方面，将数据文件划分成等大小的若干文件块，存储于计算节点的本地硬盘，并利用分布式文件系统进行管理。为了保证高可靠性，每个文件块存有多个副本。在计算方面，将数据处理作业（Job）划分为若干独立的子任务（Task），每个任务从计算节点本地硬盘或通过网络读取输入文件块，并加以处理，当所有子任务完成后，数据处理作业才能完成。利用数据的分布式存储和任务的并行化执行，云计算平台可以高效地读写和处理TB级，甚至PB级的海量数据。

但是，网络带宽是数据中心紧缺的资源，并严重影响云计算平台性能。首先，为了保持高性价比，大多数数据中心的计算节点未采用高速网络设备（如万兆以太网）互联；其次，部分数据中心采用层次式的网络拓扑（可分为数据中心、机架、计算节点三级），不同机架内的计算节点通信时存在带宽瓶颈；再次，部分计算任务需要通过网络读取数据，网络传输开销影响任务完成时间。最后，大规模数据的读写、文件块副本创建与迁移等操作需要占用大量网络带宽。

发明内容

本发明针对现有技术的不足和缺陷，提出了一种基于网络带宽估计的云计算任务调度方法，该方法通过感知数据中心的工作负载和网络可用带宽，动态调整调度器的调度策略，以减少作业的执行时间，从而提高云计算系统的执行性能。

本发明采用的技术方案：一种基于网络带宽估计的云计算任务调度方法，包括以下步骤：

a.每个计算节点首先利用操作系统的网络命令（如ifconfig、sar等）每隔3秒钟读取网络适配器的流量，再计算出该计算节点的可用带宽，最后将该计算节点的带宽信息发送给管理节点。

b．管理节点的带宽采集程序收集每个计算节点的可用带宽信息，并在内存中保存每个计算节点最近1分钟内的带宽信息，并计算最近1分钟计算节点j的可用带宽的均值B_j和所有计算节点可用带宽的均值最后清理内存中的过期（5分钟前）数据。

c．管理节点从每个机架中选择一台平均可用带宽最高的计算节点，令这些计算节点两两之间运行可用带宽估计程序（pathchirp）。机架m和机架n间的可用带宽B^m，n可用上述估计结果代替。机架间可用带宽的均值

d．计算节点j完成任务后，向管理节点请求新的任务。

e.管理节点在收到计算节点的请求后，记录当前的时间T，并统计最近一分钟内收到的请求的数量，最后计算每秒钟的请求数λ，即请求频率。

f．管理节点根据本地任务计时器和机架任务计时器，选择合适的任务调度到计算节点j。

1）更新本地任务计时器和机架任务计时器，利用面向分层网络拓扑的延迟调度模型计算延迟等待窗口和

2）从任务队列中查找输入数据在该计算节点上的任务，若找到，则调度到计算节点j，将本地任务计时器和机架任务计时器清零，转7）；

3）比较本地任务计时器和本地延迟等待窗口若本地任务计时器时间小于则不调度任何任务到计算节点j，转7）；

4）从任务队列中查找输入数据在计算节点j所在机架的任务，若找到，则调度到计算节点j，将机架任务计时器清零，转7）；

5）比较机架任务计时器和本地延迟等待窗口若机架任务计时器时间小于则不调度任何任务到计算节点j，转7）；

6）从任务队列中任选一个任务调度到计算节点j；

7）结束

面向分层网络拓扑的延迟调度模型如下：

令输入文件的文件块大小为F；任务队列中能找到一个输入数据在计算节点j上的任务的概率为p^d，能找到一个输入数据在计算节点j所在的机架的任务的概率为p^r，p^l=p^d+p^r；输入数据在机架内部传输的估计时间输入数据在机架间传输的估计时间