[发明专利]离散流处理模型下批次间隔大小的动态设置系统及方法

权利要求书

1.离散流处理模型下批次间隔大小的动态设置系统，其特征在于，包括：

主节点，其分别与数据源和若干工作节点连接，所述主节点上部署有接收器和任务管理模块，所述接收器依次通过批次控制模块和观察模块与工作节点连接；主节点将从数据源中得到流数据；

所述观察模块，用于对集群中的负载信息和网络流量信息进行监控，计算出符合设定条件的批次间隔值；所述批次控制模块，将批次间隔值传输给接收器，按照批次间隔值对接收器中的流数据切分批次；所述任务管理模块将每个批次划分为分布式任务，并分配到工作节点中进行计算；所述批次间隔值是指从接收器中取出未被处理的数据的时间间隔；按照批次间隔值进行处理的数据叫做间隔值下对应的批次。

2.如权利要求1所述的离散流处理模型下批次间隔大小的动态设置系统，其特征在于，所述数据源是主节点的数据获取的来源；所述接收器包括缓存单元，接收器接收来自数据源的数据并将接收到的数据存储到缓存单元中。

3.一种基于上述任一所述的离散流处理模型下批次间隔大小的动态设置系统的批次间隔大小动态设置方法，其特征在于，包括如下步骤：

步骤(1)：设置系统最小的间隔值为初始间隔值；

步骤(2)：观察模块和批次控制模块对初始间隔值进行预处理，得到批次处理时间和批次间隔值，任务管理模块按照预处理得到的批次间隔值从接收器中取出该批次间隔值对应的批次数据，并将批次数据转化为批次分布式任务在集群中进行处理；

步骤(3)：观察模块对步骤(2)的预处理结果进行判断，判断预处理结果是否达到临界条件，若达临界条件，就转到步骤(4)；否则，就返回步骤(2)；所述临界条件是指批次处理时间小于该批次间隔值大小；

步骤(4)：观察模块和批次控制模块对预处理后的批次间隔值进行动态调整，任务管理模块按照动态调整后的批次间隔值从接收器中取出该批次间隔值对应的批次数据，并将批次数据转化为批次分布式任务在集群中进行处理。

4.如权利要求3所述的批次间隔大小动态设置方法，其特征在于，所述步骤(2)的过程，包括：

步骤(201)：按照初始间隔值从接收器中取出初始间隔值对应的数据作为一个批次数据，并记录初始间隔值对应批次的处理时间；

步骤(202)：判断初始间隔值下的批次处理时间是否大于等于2倍的初始间隔值；若是，就进入步骤(203)；否则，进入步骤(204)；

步骤(203)：对批次间隔值进行A级调整：设定下一个批次间隔值为本次间隔值的两倍，按照新计算的下一个批次间隔值从接收器中取出下一个批次间隔值的流数据，并对该流数据进行计算，并记录下一个批次间隔值对应批次的处理时间，并进入步骤(204)；

步骤(204)：对批次间隔值进行B级调整：设定下一个批次间隔值是当前批次间隔值2倍内的数，而且批次间隔值随着运行次数增加而减少，按照新计算的下一个批次间隔值从接收器中取出下一个批次间隔值的流数据，并对流数据进行计算，并记录下一个批次间隔值对应批次的处理时间；

步骤(205)：当对流数据的处理涉及到对多流处理时，会有两个最佳间隔值，使得数据的处理时间等于间隔值；选择较小的最佳间隔值；判断两个连续批次间隔值是否超过较大的最佳间隔值，若是，就进入步骤(206)；若否，就进入步骤(207)；

步骤(206)：计算新的批次间隔值，新的批次间隔值t_i+2为：

t_i+2＝(1+κ^j+2)t_i-1

j＝j+1

其中，i表示A级调整运行的次数；j是迭代次数；κ是一个0.5到1.0之间的常数；按照计算的新的批次间隔值执行任务，记录批次运行时间，进入步骤(207)；

步骤(207)：判断批次运行时间是否小于批次间隔值，若是，就进入步骤(208)；若否就返回步骤(204)；

步骤(208)：按照新的批次间隔值作为C级调整的输入值，并对批次间隔值执行C级调整；

所述A级调整是指：当前批次处理时间≥2倍的当前批次间隔值，那么下一个批次处理时间为2倍的当前批次间隔值；

所述B级调整是指：下一个批次间隔值为当前批次间隔值的1+κ^j倍；其中，j为当前B级调整的次数，j为自然数；κ是0.5到1.0之间的常数；

所述C级调整是指：假设B级调整运行到某一时刻，满足某一批次间隔值下批次运行时间小于或等于当前批次间隔值，那么不再对批次间隔值进行调整，按照当前批次间隔值执行作为接下来批次的间隔值大小，直到所有缓存中的数据计算完成，并把当前批次间隔值作为步骤(4)的起始间隔值大小。