[发明专利]一种流数据的分布式动态处理方法

权利要求书

1.一种流数据的分布式动态处理方法，其特征在于，所述方法至少包括：

分析并预测用户流数据处理程序数据中至少一个数据特征块的执行模式，

基于流数据的平均排队时延的大小以及排队时延的阈值来动态调整所述执行模式，和

基于所述执行模式处理对应的至少一个所述数据特征块；

其中，所述分析并预测用户流数据处理程序数据中至少一个数据特征块的执行模式的步骤包括：

将用户的至少一步操作整合成完整的操作链，以确定用户的操作逻辑；

根据用户所调用的API函数以及初步的操作链结构将所述完整的操作链切分成至少一个数据特征块，

判断所述数据特征块的逻辑特征并根据所述逻辑特征选择执行模式，生成“特征块ID-执行模式”列表，和

基于所述“特征块ID-执行模式”列表将数据特征块映射到相应的执行模式以执行数据特征块对应的部分程序；

所述执行模式的动态调整步骤包括：

统计分布式流数据集群中至少一个节点的当前状态数据，

基于所述当前状态数据调整所述执行模式为：

其中，T_up为所述排队时延的上阈值，T_down为所述排队时延的下阈值，g_x为第x个操作数据放大量，

m为平均输入数据量，n为平均输出数据量。

2.如权利要求1所述的流数据的分布式动态处理方法，其特征在于，所述上阈值T_up和下阈值T_down的确定方式为：

其中，T是用户的服务等级协议设定的标准时间，α是用户设定的系统最大宽容度。

3.如权利要求2所述的流数据的分布式动态处理方法，其特征在于，所述执行模式的动态调整步骤还包括：

采用“暂停-调整-运行”方式动态调整所述执行模式，其中，

所述“暂停-调整-运行”方式包括：

在将数据源的流数据缓存于数据缓冲区内的同时调整所述执行模式，

基于调整后的执行模式对所述数据缓存区内的流数据进行处理。

4.如权利要求3所述的流数据的分布式动态处理方法，其特征在于，所述方法还包括：

以建立缓存数据的方式恢复失效节点的数据，和/或

基于气球模型来动态调整节点数量以达到负载平衡。

5.如权利要求4所述的流数据的分布式动态处理方法，其特征在于，所述执行模式的动态调整的步骤还包括：

基于执行模式转换指令暂停所述数据特征块的数据输入，并且将所述数据特征块内接受的数据处理完成，

将待发送至所述数据特征块的数据导向数据缓冲区来进行缓存并调整数据特征块的执行模式，

所述数据特征块在调整恢复状态从所述缓冲区获取数据进行处理，和

在所述缓冲区的数据处理完成后恢复所述数据特征块的数据输入。

6.如权利要求5所述的流数据的分布式动态处理方法，其特征在于，所述基于气球模型来动态调整节点数量以达到负载平衡的步骤包括：

所述数据特征块设置有用于调整数据需求的气球模型，

所述气球模型基于所述数据特征块的当前状态调整充气状态和/或放气状态，

所述气球模型在充气状态下增加所述数据特征块的数据分配量，和/或

所述气球模型在放气状态下收回多余的所述数据特征块的数据，并将收回的所述数据特征块的数据分入资源池以重新分配。

7.一种流数据的分布式动态处理系统，其特征在于，所述系统至少包括调度单元、数据接收单元和执行单元，

所述调度单元分析并预测所述数据接收单元接收的用户流数据处理程序数据中至少一个数据特征块的执行模式，并且

基于流数据的平均排队时延的大小以及排队时延的阈值来动态调整所述执行模式，

所述执行单元基于所述执行模式处理对应的至少一个所述数据特征块。

8.如权利要求7所述的流数据的分布式动态处理系统，其特征在于，所述调度单元包括中央调度器、流水线模式调度器和微批模式调度器，

所述中央调度器对所述执行模式的动态调整步骤包括：

统计分布式流数据集群中至少一个节点的当前状态数据，

基于所述当前状态数据调整所述执行模式为：

其中，T_up为所述排队时延的上阈值，T_down为所述排队时延的下阈值，g_x为第x个操作数据放大量，

m为平均输入数据量，n为平均输出数据量，

所述流水线模式调度器和所述微批模式调度器分别对分配的数据进行相应处理。