[发明专利]一种基于Hadoop平台的电力数据作业调度方法

说明书

技术领域

本发明涉及电力数据作业调度的技术领域，更具体地，涉及一种基于Hadoop平台的电力数据作业调度方法。

背景技术

随着数字信息化时代的迅猛发展，信息量也呈爆炸式增长。作为基础能源支撑体系，中国电力系统中的数据量也在不断的增加，中国的电力系统已经成为了世界上最大规模的关系国计民生的专业物联网。为智能电网服务的电力通信网每时每刻都在生成海量的运维数据，并且随着电力通信网的扩大将生产更多运维数据，为了有效发掘利用电力通信网中的海量运维数据，目前普通数据库技术力有未逮，需要采用新的数据处理技术如分布式云计算平台对上述数据进行有效的清洗、处理和分析。Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。Hadoop大数据计算平台能够对海量数据进行分布式的处理，利用多个节点解决单节点的数据储存、计算局限等，现在已经成为时下最流行的大数据处理平台之一。

Hadoop2.0中引入了Yarn架构，它是一个通用的资源调度框架，为上层的服务提供资源管理和调度功能。作业调度技术目前还未处于成熟阶段，现有的FIFO调度算法、公平份额调度算法、计算能力调度算法三种算法都存在一些不足之处。更重要的是，三种调度策略均是在同构环境下较为有效，没有考虑节点的负载均衡条件，在异构环境中节点的处理能力差别很大，会导致系统的作业调度性能下降。为了解决电力数据作业调度中的负载均衡问题，引入了LATE调度算法，但在此算法中依然存在着不足。所以，本技术针对负载均衡的LATE算法进行优化，提出了一种改进的LATE作业调度方法。

为了解现有技术的发展状况，对已有的专利和文献进行了检索、比较和分析，筛选出如下与本发明相关度比较高的技术信息：

专利方案1：201410425841.7一种基于负载均衡的推测式Hadoop调度方法，该专利提出一种基于负载均衡的推测式Hadoop调度方法，首先需要判定慢任务，然后选取快节点执行慢任务的备份任务，在执行选定的慢任务的备份任务时保证集群系统的负载均衡。提出的所述方法通过设计了合理简单的慢任务确定方法及选取快节点执行备份任务的策略，优化了作业执行性能。这种策略不仅考虑了作业执行性能，也考虑了集群中负载均衡现象。该方法避免了集群负载失衡现象的发生，提高了Hadoop集群整体的性能。

专利方案2：201610609466.0一种Hadoop大数据平台中基于备份任务运行时间估计的调度方法，该专利设计了一种Hadoop大数据平台中基于备份任务运行时间估计的调度方法，属于云计算平台优化技术领域。该方法采用SDN带宽感知能力，建立BWRE备份任务运行时间估计模型，对基于备份任务推测执行机制的备份任务调度方法进行优化；通过为节点任务请求者TTi分配备份任务时加入慢任务的剩余时间与预启动备份任务在该TTi上的估计运行时间之间的对比，增加此备份任务的可信赖程度，即相信这个备份任务能够比原始慢任务更早结束，从而提高备份任务的有效率。该方法这不仅可以缩短作业周转时间，还可以降低无效备份任务带来的系统资源浪费。

上述专利方案1的缺陷：该方案判断慢任务的算法使用总的任务时间与任务开始的时间做差值。但是在不同阶段，由于对作业的影响因素不同，资源的需求情况不同，导致作业执行速度产生差异。因此仅仅简单地以平均速度来估计任务的剩余完成时间，显然是不符合实际的，所以这个算法并不一定能找到真正的慢任务，有可能造成错误判定慢任务。将任务备份到其他节点上，重复执行之后，甚至要比原来节点执行完毕还要慢。用空间换时间的目的并没有达成，还浪费了其他节点的资源。

上述专利方案2的缺陷：该方案SDN带宽感知能力，建立BWRE备份任务运行时间估计模型。但是感知能力预估还是建立在建模估计的基础之上，而不是根据实时信息进行改变，具有一定的不准确性。并且该方案并没有考虑节点与任务各自的资源类型问题，导致可能会发生CPU资源短缺的节点获取到CPU应用频繁的任务。增加节点的负载，延长任务的处理时间。

发明内容