[发明专利]集群计算方法、装置及计算机可读存储介质

权利要求书

1.一种集群计算方法，其特征在于，包括：

监控计算任务的当前计算结构在集群上的计算状态，所述计算结构包括：划分出的operator结构以及前后operator的partition之间的数据传输规则；

根据所述计算状态判断是否满足所述计算任务的计算结构的更新条件，若满足所述更新条件，则根据所述计算状态计算得到新的计算结构，并将所述计算任务的剩余数据切换至所述新的计算结构进行计算；

其中，所述新的计算结构的计算效率大于所述当前计算结构的计算效率；

所述计算任务的当前计算结构在集群上的计算状态包括：所述当前计算结构中的数据分布状态；

所述根据所述计算状态判断是否满足所述计算任务的计算结构的更新条件具体包括：

根据所述当前计算结构中的数据分布状态计算得到当前消耗评分，若所述当前消耗评分大于预设阈值，则判定满足所述更新条件。

2.根据权利要求1所述的集群计算方法，其特征在于，根据所述计算状态计算得到新的计算结构，具体包括：

根据所述计算状态获取所述计算任务对应的多个预设计算结构；

分别计算每个所述预设计算结构的消耗评分，将计算得到的消耗评分低于所述预设阈值的其中一个计算结构作为新的计算结构。

3.根据权利要求2所述的集群计算方法，其特征在于，将计算得到的消耗评分最小的一个计算结构作为新的计算结构。

4.根据权利要求2所述的集群计算方法，其特征在于，所述根据所述计算状态获取所述计算任务对应的多个预设计算结构，具体包括：

在所述计算任务的数据发生倾斜时，在所述计算结构中采用哈希数据传输策略；

在所述计算任务的数据未发生倾斜时，在所述计算结构中采用平行数据传输策略。

5.一种集群计算装置，其特征在于，包括：

监控模块，用于监控计算任务的当前计算结构在集群上的计算状态，所述计算结构包括：划分出的operator结构以及前后operator的partition之间的数据传输规则；

判断模块，用于根据所述计算状态判断是否满足所述计算任务的计算结构的更新条件；

计算结构计算模块，用于在所述判断模块判断出满足所述更新条件时根据所述监控模块监控的所述计算状态计算得到新的计算结构；其中，所述新的计算结构的计算效率大于所述当前计算结构的计算效率；

切换模块，用于将所述计算任务的剩余数据切换至所述新的计算结构进行计算；

所述计算任务的当前计算结构在集群上的计算状态包括：所述当前计算结构中的数据分布状态；

所述判断模块具体用于根据所述当前计算结构中的数据分布状态计算得到当前消耗评分，并在所述当前消耗评分大于预设阈值时判定满足所述更新条件。

6.根据权利要求5所述的集群计算装置，其特征在于，所述计算结构计算模块包括：

获取子模块，用于根据所述计算状态获取所述计算任务对应的多个预设计算结构；

评分计算子模块，用于分别计算每个所述预设计算结构的消耗评分；

确定子模块，用于将计算得到的消耗评分低于所述预设阈值的其中一个计算结构作为新的计算结构。

7.根据权利要求6所述的集群计算装置，其特征在于，所述获取子模块具体用于：

在所述计算任务的数据发生倾斜时，在所述计算结构中采用哈希数据传输策略；

在所述计算任务的数据未发生倾斜时，在所述计算结构中采用平行数据传输策略。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的集群计算方法。