[发明专利]一种对等结构云平台下节点任务的负载均衡方法

说明书

技术领域

本发明涉及一种对等结构云平台下节点任务的负载均衡方法，属于云计算及对等网络技术领域。

背景技术

云计算是一种以全新的业务模式提供高性能、低成本的持续计算和存储服务，支撑各类信息化应用。云计算包括计算资源、能量、交互能力、动态和虚拟化的，而且所有的定量资源是以服务的方式能够提供出来。这种新型的服务最大好处能够合理配置计算资源，并提高计算资源的利用率，并且能够降低成本、促进节能减排，实现真正的理想的绿色计算。现在Google公司和开源云计算平台Hadoop等都使用Map-Reduce并行计算模型。该模式能有效的提高系统处理数据的能力。

P2P(Peer-to-Peer,对等)计算是指不同系统之间通过直接交换，实现计算机资源和服务共享、进行信息处理的过程。这里，资源可以是处理器、缓存和磁盘空间等；服务包括信息交换、数据计算等。P2P模式与传统客户／服务器模式的关键区别在于Peer（对等体）与Peer在通信过程中，可以完全摒弃服务器的角色，通过直接通信获得共享资源或服务。

现行的云平台中，Map-Reduce框架是基于集中式的主从结构，这种集中式框架无法很好的处理云环境中的高动态特性，由于所有的工作都由一个主节点（master）负责分配，所以master是整个结构的瓶颈，一旦master失效，则整个系统都将陷入瘫痪。所以我们提出并设计了一种P2P模式下的云框架，这种框架有利于用一种离散的方式处理主节点失效、任务动态恢复等问题。

由于P2P节点具有高动态性，所以做好任务冗余备份工作至关重要，已有的P2P冗余备份方法（如DHASH）大多都是以节点为主体进行备份工作，当某些节点负责执行的任务数量过多时，该节点对应的备份节点也要备份过多的任务，无法达到负载均衡，在数据恢复的时候，只能由一个节点向原节点传输数据，效率过低。且大多数方法都是将备份数据存放在连续的节点上，当距离较远的节点索引这些任务数据时，备份节点无法较好的分担原节点查询任务，另外关于基于对等网络云平台下的任务备份方面的相关研究还比较少，相关工作还不够成熟。

Fabrizio Marozzo等人针对云平台下master节点的瓶颈问题，提出基于对等网络云平台，并提出master节点之间数据冗余备份策略，但其提出的备份策略是以节点为单位进行任务备份，当某些节点负责执行的任务数量过多时，可能导致一部分节点负载过重，从而影响系统性能。

Emil Sit等人提出在P2P网络中添加中央服务器，当节点数据丢失时通过访问中央服务器进行数据恢复。但该方法可能会导致中央服务器负载过重，成为整个系统的瓶颈，从而可能造成系统崩溃。

Anglano C等人提出将文件的K重备份保存在Chord网络中K个连续的节点上，并利用备份数据分担原节点查询任务的策略，但当距离较远的节点索引这些数据时，备份节点无法较好的分担原节点查询任务。

发明内容

本发明针对上述背景技术的不足，提供了一种对等结构云平台下节点任务的负载均衡方法，该方法在基于对等网络云平台的基础上，对各个主节点（master节点）所执行的任务进行有效管理，其中，备份策略是将各个备份数据等间隔分散到Chord网络中，并且将各个主节点（master节点）的任务分块备份到对应节点中，从而提高索引效率并且达到负载均衡。

本发明为解决上述技术问题采用以下技术方案：一种对等结构云平台下节点任务的负载均衡方法，其特征是：构建对等结构云平台，将各个主节点（master节点）以及从节点（slave节点）分别组织成对等结构的Chord网络。在任务处理过程中，有两类任务要执行：第一类是由发出任务处理请求的用户节点（user节点）提交给主节点的任务，即主任务（job）。另一类是主节点分配给从节点执行的任务，即从任务（task）。在进行主任务以及从任务的分配时，利用Chord网络自身的优点使得各节点所处理的任务量相同，达到负载均衡；任务执行过程中，将每个主节点负责执行的主任务通过冗余备份方法进行备份，将所有主任务通过对主任务编号（jobId）取余进行分类，每类主任务数据分别进行备份，每个主任务备份多个完全相同的主任务数据副本均匀存储在Chord网络中相应的节点上；当主节点失效时，通过主任务恢复方法进行主任务数据恢复；当有新主节点加入Chord网络时，通过新主节点加入方法进行主任务数据的转移恢复；每个主节点中均存储两部分主任务数据，一部分是该主节点正在执行的主任务数据，另一部分是该主节点备份其他主节点上正在执行的主任务数据。

其中：