[发明专利]一种数据分发策略的调整方法、装置及系统

摘要

本发明公开了数据分发策略的调整方法、装置及系统，属于数据处理领域。所述方法用于处理流处理系统中的流处理业务的数据，包括所述控制装置获取每个工作装置的资源使用报告；根据所述每个工作装置的资源使用报告及预设的策略，确定处理单元调整策略,所述处理单元调整策略包括增加后处理单元数量或者减少后处理单元数量；从所述至少一个工作装置中选择至少一个工作装置作为所述处理单元调整策略的执行者；生成包括所述处理单元调整策略的调整指示，并将所述调整指示发送给被确定的工作装置。在流处理业务进行的过程中，由控制装置根据各工作装置的资源使用报告确定需要调整后处理单元的数量，避免了后处理单元的数量不可改变缺陷。

主权项

一种数据分发策略的调整方法，其特征在于，用于处理流处理系统中的流处理业务的数据，所述流处理系统包括控制装置及至少一个工作装置，每个工作装置设置多个后处理单元对接收到的流处理业务的数据进行并行处理，所述方法包括：所述控制装置获取所述每个工作装置的资源使用报告；所述控制装置根据所述每个工作装置的资源使用报告及预设的策略，确定处理单元调整策略，所述处理单元调整策略包括增加后处理单元数量或者减少后处理单元数量；所述控制装置从所述至少一个工作装置中选择至少一个工作装置作为所述处理单元调整策略的执行者；所述控制装置生成包括所述处理单元调整策略的调整指示，并将所述调整指示发送给所述被选择的至少一个工作装置；所述被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，增加或者减少自身设置的后处理单元的数量；所述被选择的至少一个工作装置根据所述调整指示包含的处理单元调整策略，增加自身设置的后处理单元的数量，包括：所述被选择的至少一个工作装置根据处理单元增加策略，创建并启动新的后处理单元；所述被选择的至少一个工作装置根据处理单元增加策略，创建并启动新的后处理单元包括：所述被选择的至少一个工作装置确定已创建的后处理单元的窗口类型；若所述已创建的后处理单元包含滚动窗口，创建并启动包含滚动窗口的新的后处理单元，若所述已创建的后处理单元包含滑动窗口，创建并启动包含滑动窗口的新的后处理单元。