[发明专利]一种大数据集群数据流调控方法

说明书

本发明公开一种大数据集群数据流调控方法，包括：大数据集群的每个节点进行数据流统计、数据流阈值设置及数据流调控触发；分布式监控程序周期性的收集集群各节点并请求数据流统计数据；分布式通知发布程序进行信息接受和发布；分布式监控程序收集各节点数据流数据，计算下个周期各节点数据流阈值；监控程序发布下个周期各节点数据流阈值至分布式通知发布程序；分布式通知发布程序将最新数据流阈值消息通知至集群各节点；集群各节点感知到本节点数据流阈值，重新设置本节点数据流阈值；集群各节点处理请求，统计和判断数据流是否超过阈值。本发明通过分布式调控，计算整个集群的数据流阈值，实现大数据集群的数据流调控，提升流控处理的效率。

技术领域

本发明涉及数据流调控领域，尤其是一种大数据集群数据流调控方法。

背景技术

对于大数据集群，如果需要做到整个集群的请求量调控，目前主要有以下2种方案：

1、针对集群的每个节点单独调控，整个集群的阈值为(集群节点数×单节点阈值)。

此方案的缺点为：当集群内请求发生倾斜时，单个节点请求量过大，但整个集群请求量仍然较小，数据流调控不准确。

2、通过一个单点的服务，来统计集群请求量。此集群每个请求均需要经过此服务，由此服务来判断阈值。

此方案的缺点为：单点的服务顺序判断，容易造成整个集群的瓶颈点，而且可靠性难以保障。

发明内容

为解决现有技术存在的上述问题，本发明提供一种大数据集群数据流调控方法，通过分布式调控，计算整个集群的数据流阈值，实现大数据集群的数据流调控，并且提升流控处理的效率。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种大数据集群数据流调控方法，该方法包括：

S01、通过大数据集群的每个节点进行数据流统计、数据流阈值设置及数据流调控触发；

S02、利用分布式监控程序，周期性的收集集群各节点并请求数据流统计数据；

S03、利用分布式通知发布程序，进行信息接受和发布；

S04、分布式监控程序收集到各节点数据流数据后，动态计算出下个周期各节点的数据流阈值；

S05、监控程序发布下个周期各节点的数据流阈值的消息至分布式通知发布程序；

S06、分布式通知发布程序将最新的数据流阈值消息通知至集群各节点；

S07、集群各节点感知到本节点数据流阈值，重新设置本节点数据流阈值；

S08、集群各节点处理请求，统计和判断数据流是否超过阈值。

进一步地，所述S02包括：

S021、将各节点的阈值设置为全局的阈值上限，并发布给分布式通知发布程序；

S022、采集各节点实际请求量信息，并对相同周期内的各节点数据进行汇总累加，为全局实际请求量；

S023、判断当前全局实际请求量是否超过全局阈值，如果否，跳转至S021；如果是，跳转至S024；

S024、将各节点的阈值进行调整，并发布给分布式通知发布程序；

S025、采集各节点实际请求量信息，并对相同周期内的各节点数据进行汇总累加，为全局实际请求量；

S026、判断当前全局实际请求量是否超过全局阈值，如果是，跳转至S024；如果否，跳转至S027。