[发明专利]一种面向Spark Streaming平台的数据接收通道动态分配方法

摘要

本发明公开一种面向Spark Streaming平台的数据接收通道动态分配方法，分配方法主要分为六个步骤：初始化、数据接收通道接收能力评估、基于马尔可夫链模型的流式数据到达速率变化状态预测、数据接收通道动态分配决策、数据接收通道组件回收与追增和回溯。本方法依据Spark Streaming应用的数据接收能力及流式数据到达速率的变化预测，为流式应用在线自动化地增加和减少数据通道的分配部署，确保数据处理的时效性以及提升通道组件资源和批处理引擎计算能力的利用率。

主权项

1.一种面向Spark Streaming平台的数据接收通道动态分配方法，其特征在于：包括以下步骤：(1)初始化Spark Streaming应用启动后，利用平台既有组件收集当前Spark Streaming应用对应的数据源编号inputstream，令Spark Streaming应用当前分配的数据接收通道集合C，C＝{c₁，c₂，…c_n}，利用平台既有数据接收通道管理组件收集应用数据接收通道集合C信息；(2)数据接收通道接收能力评估2.1)令当前时刻为i，应用的数据接收通道缓存区空间使用量集合E_i表示为其中，n表示应用当前分配的数据接收通道总数，表示应用分配的第j个数据接收通道在i时刻的缓存区空间使用量；2.2)对于每一个数据接收通道c_j，c_j∈C，利用公式(1)计算其接收能力，其中，e_t表示数据缓存区空间总量，2.3)综合当前应用已分配的所有数据接收通道的接收能力，利用公式(2)计算当前时刻i应用的数据接收能力，2.4)若ε_i＞Ulimit或ε_i＜Llimit，则执行步骤(3)；否则，执行步骤(6)；(3)基于马尔可夫链模型的流式数据到达速率变化状态预测3.1)令当前时刻为i，流式数据到达速率历史记录集R表示为R＝{r_i‑1，r_i‑2，r_i‑3…r_i‑m}，3.2)定义数据到达速率变化的状态空间K，K＝{k₁，k₂，k₃}，其中，k₁为增强状态、k₂为持平状态，k₃为减弱状态，对于任一r_l∈R，若r_l‑1＜r_l，则l时刻数据到达速率变化状态为k₁；若r_l‑1＝r_l，则l时刻数据到达速率变化状态为k₂；若r_l‑1＞r_l，则l时刻数据到达速率变化状态为k₃，3.3)状态转移概率计算，3.3.1)令i时刻流式数据到达速率变化状态历史记录集PS_i表示为PS_i＝{s_i‑1，s_i‑2…，s_i‑m}，对于任一s_j∈PS_i，依据步骤3.2)中的方法计算其值；3.3.2)计算状态转移判定因子，状态转移判定因子表示相邻时刻点间，Spark Streaming应用数据到达速率变化状态的转移，令为k时刻应用数据到达速率变化状态转移判定因子，其中，s_k∈PS_i，j，l∈{1，2，3}，的计算方法为，若s_k＝k_j且s_k+1＝k_l，则否则，3.3.3)统计状态转移计数表示在PS_i中，满足起始状态为k_j且下一时刻的目标状态为k_l的状态转移总数，统计方法如公式(3)，3.3.4)根据公式(4)计算状态转移概率；3.4)根据步骤3.3)得到的状态转移概率构建状态转移矩阵Pⁱ；3.5)依据步骤3.2)计算当前时刻i的数据到达速率变化状态s_i，若s_i＝k_l，k_l∈K，则遍历状态转移矩阵Pⁱ中起始状态为k_l的相应行，选择其中取值最大的状态转移概率设置i+1时刻的数据到达速率变化状态s_i+1＝k_d，(4)数据接收通道动态分配决策4.1)令θ为通道动态分配决策因子，若ε_i＞Ulimit且s_i+1＝k₃，转至步骤4.2)；若ε_i＜Llimit且s_i+1＝k₁，转至步骤4.3)；其余情况转至步骤(6)，4.2)设置θ←‑1，表示回收一个数据接收通道，4.3)设置θ←1，表示追增一个数据接收通道，(5)数据接收通道组件回收与追增5.1)判断动态分配决策因子，若θ＝‑1，则转至步骤5.2)；若θ＝1，则转至步骤5.3)；5.2)数据接收通道组件回收；5.2.1)在Spark Streaming应用当前分配的数据接收通道集合C中随机选取一个数据接收通道c_j；5.2.2)在数据接收通道管理组件中，撤销该数据接收通道的注册信息，并将该接收通道从应用当前分配的数据接收通道集合C中删除；5.2.3)停止该数据接收通道的数据接收功能；5.3)数据接收通道组件追增；5.3.1)将新追增的数据接收通道对应的数据源编号设置为inputstream，并将该数据接收通道加入应用当前分配的数据接收通道集合C中；5.3.2)向Spark Streaming既有的资源管理器申请数据接收通道运行资源；用于新增数据接收通道的启动；5.3.3)在分配的运行资源所在的节点上启动新增数据接收通道组件；5.3.4)启动新增数据接收通道的数据接收功能；(6)回溯：一个动态分配周期结束后，判断应用程序是否结束，是则转至步骤(7)，否则转至步骤(2)；(7)结束：终止对数据接收通道动态分配功能。