[发明专利]一种大规模流式数据处理系统的瓶颈节点检测方法

摘要

本发明一种大规模流式数据处理系统的瓶颈节点检测方法，属于大数据计算、模糊逻辑以及流式预处理技术领域。一种大规模流式数据处理系统的瓶颈节点检测方法，简称本方法，所依托的系统，即一种基于模糊逻辑控制的瓶颈检测系统，简称本系统，包括初始化单元、节点状态采集单元、模糊推理单元和解模糊单元；本方法步骤为：1初始化单元初始化模糊逻辑引擎，设定语义化标签及各状态量的隶属函数，加载模糊规则集，设定推理结果判定参数；2获取节点状态；3将输入变量模糊化；4模糊推理；5解模糊，获得判定结果。本发明检测到流量的变化给系统负载的变化，及时判断瓶颈节点进行扩展，以维护只运行一个资源利用最优的集群，达到减小集群规模的目的。

主权项

1.一种大规模流式数据处理系统的瓶颈节点检测方法，其特征在于：所依托的一种基于模糊逻辑控制的瓶颈检测系统，包括初始化单元、节点状态采集单元、模糊推理单元和解模糊单元；所述瓶颈节点检测方法的具体步骤如下：步骤1：初始化单元初始化模糊逻辑引擎，设定输入变量的语义标签及各语义标签的隶属函数，加载模糊规则集，设定推理结果判定参数；其中，模糊逻辑引擎是实现了模糊逻辑控制语言FCL标准IEC1131‑7以及能进行模糊推理的程序引擎，可使用C++语言实现的fuzzylite以及Java语言实现的jFuzzylogic；语义标签是模糊逻辑使用的“真值”，各个输入值即节点状态，有自己的语义标签及对应的隶属函数，这些应该在初始化节点设置好，记录在一个配置文件中，由模糊逻辑引擎读取并解析；步骤2：节点状态采集单元获取节点状态；即对一个节点进行瓶颈状态判断，先获取该节点的当前运行状态，对于流式数据处理集群来说，选择节点的CPU使用率、内存占用率、数据元组大小为主的信息；对于所有数据元组都严格在规定范围内处理完成，即不允许超时的流数据处理引擎，如果有元组的处理超时表示系统已经需要扩展了，所以这类引擎在本系统中的Miss_i的值永远为0，对于允许出现一些容错的流式数据处理引擎则可以在语义标签中为Miss_i选项设定一组标签和对应的隶属函数；其中，Miss_i表示当前的节点i最近时间内未及时处理掉的元组数量；步骤3：模糊推理单元将输入变量模糊化，具体为：模糊推理单元使用步骤2获取的数据元组，设置模糊逻辑处理引擎的输入量，由定义的隶属函数对输入量进行模糊化，由模糊逻辑处理引擎完成；其中，对输入量进行模糊化的具体流程如下：步骤3.1用一个隶属函数记录变量对于模糊集的组隶属程度，对某个输入变量的每一个模糊集需要分别求组隶属程度；其中，隶属函数，记为μ_A(x)；对某个输入变量的每一个模糊集需要分别求组隶属程度，具体为：假设有A₁,A₂,...,A_n个模糊集，则需要对这n个模糊集分别求组隶属程度，得到[μ_A1,μ_A2,...,μ_An]；步骤3.2对所有输入变量分别求其模糊集的组隶属程度；步骤4：模糊推理，具体为：步骤4.1模糊推理单元计算每条模糊规则的结论；使用步骤3得到的模糊化结果计算规则前提部分模糊命题的逻辑组合，并将前提逻辑组合的组隶属程度与结论命题的隶属函数做min运算，求得结论的模糊程度；步骤4.2对步骤4.1中所有模糊规则的结论的模糊程度做max运算，得到模糊推理结果；至此，模糊逻辑引擎已提供完备的模糊推理实现，我们只需要定义好模糊规则集，即可调用引擎提供的接口获得推理结果；步骤5：解模糊，获得判定结果。