[发明专利]基于分布式调度的数据关联整合方法及系统

说明书

本发明公开了基于分布式调度的数据关联整合方法及系统，通过设置阈值线能够避免分布式计算节点在运行时一直反复在CPU高负荷状态运行，这样会严重影响分布式计算节点的CPU的使用寿命，保证分布式计算节点一直以安全的数据处理速度运行，能够在分布式计算节点在可接受的范围内以较高速度进行数据处理。阈值线通过将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到。

技术领域

本公开涉及数据处理技术领域，具体涉及基于分布式调度的数据关联整合方法及系统。

背景技术

在进行分布式调度的数据关联整合时，往往需要很多的分布式计算节点进行大量的数据运算，最终进行分布式存储；

这一过程中对于分布式计算节点的CPU的使用强度是很高的，如果不对CPU进行负荷保护，分布式计算节点的CPU的使用寿命是不长的，这在一定程度上会带来损失。

发明内容

本公开提供基于分布式调度的数据关联整合方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，根据本公开的一方面，提供基于分布式调度的数据关联整合方法，所述方法包括以下步骤：

S100，预定义低数据处理速度、中数据处理速度以及高数据处理速度，分别在以上3种处理速度的情况下采集分布式计算节点的CPU使用率以及数据处理流量；

S200，以低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量，通过以CPU使用率为X轴，数据处理流量为Y轴建立平面坐标系；

S300，将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；

S400，连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到阈值线；

S500，获取分布式计算节点的实时运行CPU使用率以及数据处理流量，并在平面坐标系中形成对应的抽样点；

S600，当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。

进一步，在上述步骤S100中的低数据处理速度、中数据处理速度以及高数据处理速度通过大量实验论证进行人工划分，具体的数据处理速度能够通过分布式计算节点进行读取。

进一步，在上述步骤S400中，对关联折线进行调整得到阈值线的方法包括以下：