[发明专利]一种面向物联网流计算的负载均衡和容错方法

说明书

本发明实施例公开了一种面向物联网流计算的负载均衡和容错方法和任务领取节点，对任务池中当前任务领取节点标识对应的任务信息进行加锁，将任务信息中的更新时间修改为当前时间，对修改后的任务信息进行解锁；计算当前的负载冗余时间；若当前的负载冗余时间大于第一门限值，在等待第一预设时间后，对任务池中N个满足第一预设条件的任务进行加锁，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的任务信息进行更新；若当前的负载冗余时间小于0，选取当前任务领取节点对应的计算处理列表中的任务集合S，对任务池中与任务集合S中任务标识对应的任务加锁，修改任务池中与任务集合S中的任务标识对应任务的任务信息。

技术领域

本发明涉及物联网领域，尤其涉及一种面向物联网流计算的负载均衡和容错方法、任务领取节点和计算机可读存储介质。

背景技术

随着物联网的发展，人们对物联网数据的实时计算产生了大量需求，因此基于物联网流计算的应用也越来越多。不同于传统互联网应用的后台大数据流计算(通常任务明确、单任务消耗大，多个节点处理单一任务)，物联网流计算具有任务多、任务差异大，单个任务消耗小的特点，多个任务通常会在单个节点上进行计算。因此数据处理中心为了应对大量的物联网流计算任务需要将大量的任务分配到多个计算节点中进行处理，设计相应的负载均衡和容错方法。

传统的负载均衡方法主要是基于调度来进行，有基于负载的调度，也有基于轮询的调度，调度算法可以运行在任务提交的客户端也可以运行在负载均衡节点。为了避免负载均衡节点产生的单节点故障对系统的影响，基于客户端的调度越来越多被采用。

在物联网流计算系统中，对于负载的定义发生了新的变化。传统的负载定义，一般是看机器的CPU和内存性能。而在物联网流计算系统中，负载的定义则加入了新的要素，即需要满足在给定时间间隔内计算完流入数据。由于各种物联网流计算任务的差异性，以及数据处理平台并无法预知数据流入的吞吐特征，通常这个准则的度量在实际系统中是很难进行预先估计的。如果按照传统的调度方法进行基于负载的调度，为了保证业务稳定，在预估负载特征时，很可能会给运算节点留出比较大的冗余不然会引起过载。而基于轮询的调度方法，更是可能由于任务的差异巨大，而导致计算节点负载的巨大变化。

传统的服务容错方式，主要是建立服务注册和发现中心，通过故障服务隔离，来避免单个节点故障导致的服务问题。而在流计算的容错问题上，由于物联网流计算的计算服务是有状态的，无法简单进行故障隔离达到容错的目的，还需要对相应的服务进行恢复，这种有状态的节点服务恢复通常采用故障监测+备份恢复的机制，即利用故障监测节点与各个服务节点建立心跳信息或者主动轮询各个服务节点，在发现故障后从备份副本中创建新的服务。

虽然现有的调度技术能够一定程度上对于物联网流计算的负载均衡进行帮助，但是会造成资源预留的巨大冗余，同时调度复杂度会随着计算服务的节点数而增长。例如，当采用中心节点时，需要心跳收集每个计算服务节点的当前负载状态，并预估新任务的负载；而为了降低对中心节点的依赖性，当采用客户端负载均衡时，则每个客户端都需要收集每个计算服务节点的当前负载状态，并预估新任务的负载。

发明内容

为解决上述技术问题，本发明实施例提供一种面向物联网流计算的负载均衡和容错方法、任务领取节点和计算机可读存储介质，既避免了流计算负载预估不准确而导致的冗余问题，又避免了计算复杂度随计算服务数量增长的问题。

本发明的技术方案是这样实现的：

本发明实施例提供一种负载均衡和容错方法，包括：

对任务池中当前任务领取节点标识对应的任务信息进行加锁，将所述任务信息中的更新时间修改为当前时间，对修改后的任务信息进行解锁；

计算当前任务领取节点当前的负载冗余时间；