[发明专利]一种基于正反馈的节点预热方法

说明书

本发明公开了一种基于正反馈的节点预热方法，包括以下步骤：步骤1、收集节点缓存的资源占用状态；步骤2、给节点分配初始权重并根据初始权重向节点分发请求；步骤3、收集节点的资源占用状态变化情况，并根据节点的分发请求量和资源占用状态变化量计算节点的新权重；步骤4、根据节点的新权重对节点的请求分发量进行调节；步骤5、重复进行步骤3和步骤4直到节点关闭；本发明具有有效对节点进行预热、根据节点处理能力以正反馈为基础向节点分发请求、有效避免节点崩溃、提高整个集群对大量并发请求的处理能力的有益效果。

技术领域

本发明属于节点预热的技术领域，具体涉及一种基于正反馈的节点预热方法。

背景技术

在信息化的时代背景下，越来越多的信息以电子化的形式被存储和传播。电子化为更高效快速地处理信息提供可行性的同时，也对信息的处理系统带来更大的挑战。单机的运算能力、稳定性以及对大流量的处理能力已无法满足计算中心的需求，而集群系统正是为了应对这些苛刻要求而诞生。集群通过算法和网络，将信息的计算处理压力分布在各个节点上，以在单节点处理能力有限的情况下，为外界提供远高于单节点的处理能力和稳定性。高并发指的是通过设计保证系统能够同时并行处理很多请求，而这也是集群的基本能力之一。而高并发能突破系统中瓶颈组件的处理能力，正是因为它利用了缓存等技术，将处理数据的压力从慢速组件转移到高速组件。但想要缓存正常工作，就需要缓存组件存储更多上级组件所请求的数据，即提高缓存的命中率。而因为缓存并非持久存储组件，并不能保证存储了所有被请求的数据。特别是节点刚启动时，缓存命中率几乎为0。因此，在缓存正常工作前，需要先让其处理少量数据，以提高其命中率，而这个步骤，称为预热。高并发集群中，节点的缓存预热不可缺少，否则在缓存还没有正常工作来降低存储的读写压力的时候，节点会因为存储无法应对大量读取操作而陷入假死状态，无法再接收和处理新的请求，最终节点无法继续工作，而集群中其它节点也可能因为被分派的处理量增大，也相继陷入无法响应的状态。

本方法利用正反馈的特性，以节点当前的处理能力为参量，逐渐增大分配给节点处理的请求量，来对新加入的节点的缓存模块进行预热。本方法对缓存模块的预热的方式，可以降低新节点崩溃的风险，提高整个集群对大量并发的处理能力。

发明内容

本发明的目的在于提供一种基于正反馈的节点预热方法，实现对节点进行预热，可以降低新节点崩溃的风险，提高整个集群对大量并发请求的处理能力。

本发明通过下述技术方案实现：

一种基于正反馈的节点预热方法，包括以下步骤：

步骤1、收集节点缓存的资源占用状态；

步骤2、给节点分配初始权重并根据初始权重向节点分发请求；

步骤3、收集节点的资源占用状态变化情况，并根据节点的分发请求量和资源占用状态变化量计算节点的新权重；

步骤4、根据节点的新权重对节点的请求分发量进行调节；

步骤5、重复进行步骤3和步骤4直到节点关闭。

为了更好的实现本发明，进一步地，所述步骤3包括以下子步骤：

步骤3.1、获取节点的缓存对资源的占用状态初始占用状态S1；

步骤3.2、按照如下公式计算节点的分发请求量A：

步骤3.3、获取节点分发请求之后节点的缓存对资源的占用状态S2，并计算资源占用状态变化量△S＝S2-S1；

步骤3.4、通过分发请求量A与资源占用状态变化量△S的比值得到节点的新权重。

为了更好的实现本发明，进一步地，所述步骤2中给节点分配初始权重的子步骤如下：

步骤2.1、设定节点的请求增量与负载增量的界限值；