[发明专利]一种在大数据背景下的负载平衡装置

摘要

公开了一种在大数据背景下的负载平衡装置，该装置包括：用于接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于估计待处理的大数据大小并进行目的地空间判断的第二部件；用于划分待处理的大数据的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。该装置既不影响系统的整体性能，又减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。

主权项

1.一种在大数据背景下的负载平衡装置，包括：用于接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于估计待处理的大数据大小并进行目的地空间判断的第二部件；用于划分待处理的大数据的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件；其中第一部件进一步包括第一子部件，用于：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送；第二部件进一步包括第二子部件，用于：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量；第三部件进一步包括第三子部件，用于：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数；第四部件进一步包括第四子部件，用于：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全；其中第五部件进一步包括：第五一子部件，用于：确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；L_i表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为L_i＝f(i),L'＝f‘(i)；该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各个节点负载参数的最小二乘值；以及第五部件进一步包括第五二子部件，用于：定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡，该检测采用随机信号发生器触发，进而使能检测器来执行；第五部件进一步包括第五三子部件，用于：当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点；第五部件进一步包括第五四子部件，用于：使每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求；以及该装置还包括第六部件，用于：仅在初始阶段，将节点分为实体节点和临时节点，并据此进行负载平衡；实体节点的使用优先权和频率高于临时节点，二者的比例被设置为固定值。