[发明专利]集群计算方法、装置及计算机可读存储介质

说明书

本发明实施例涉及分布式数据处理技术领域，公开了一种集群计算方法、装置及计算机可读存储介质。该集群计算方法包括：监控计算任务的当前计算结构在集群上的计算状态；根据计算状态判断是否满足计算任务的计算结构的更新条件，若满足更新条件，则根据计算状态计算得到新的计算结构，并将计算任务的剩余数据切换至新的计算结构进行计算；其中，新的计算结构的计算效率大于当前计算结构的计算效率。本发明实施方式通过在计算任务的执行过程中动态调整计算结构，从而提高集群资源的利用效率以及计算任务的计算效率。

技术领域

本发明实施例涉及分布式数据处理技术领域，特别涉及一种集群计算方法、装置及计算机可读存储介质。

背景技术

伴随着信息技术的快速发展，人们产生和需要处理的数据量飞速增长，基于分布式集群计算的大数据技术越来越多地被应用到各个领域之中。其中SQL(Structured QueryLanguage，结构化查询语言)作为一种普及度高、学习成本低的数据操作语言，被越来越多的大数据处理系统集成进来，用作计算逻辑构建的工具。

在现有的分布式大数据计算系统中，一个流式或者批式的计算任务，最终都可以表示为一个可以用类似有向无环图(Directed Acyclic Graph，简称DAG)的流程图表示的计算逻辑图，图中的每一个节点代表计算任务中的一个计算逻辑节点。实际计算时，节点之间以不同的连接方式进行数据传输，数据传输方式与所有的计算逻辑节点共同构成了分布式计算的计算结构。

发明人发现现有技术中至少存在如下问题：对于一个计算任务而言，计算结构设定完成后，在该计算任务执行完毕或被取消之前，计算结构是不会改变的。但是在一个计算任务的运行过程中，计算任务的外部环境和内部状态并不是一成不变，最初预设置的计算结构不一定一直是最优的，可能造成计算资源利用的浪费。

发明内容

本发明实施方式的目的在于提供一种集群计算方法、装置及计算机可读存储介质，通过在计算任务的执行过程中动态调整计算结构，从而提高集群资源的利用效率以及计算任务的计算效率。

为解决上述技术问题，本发明的实施方式提供了一种集群计算方法，包括：监控计算任务的当前计算结构在集群上的计算状态；根据所述计算状态判断是否满足所述计算任务的计算结构的更新条件，若满足所述更新条件，则根据所述计算状态计算得到新的计算结构，并将所述计算任务的剩余数据切换至所述新的计算结构进行计算；其中，所述新的计算结构的计算效率大于所述当前计算结构的计算效率。

本发明的实施方式还提供了一种集群计算装置，包括：监控模块，用于监控计算任务的当前计算结构在集群上的计算状态；判断模块，用于根据所述计算状态判断是否满足所述计算任务的计算结构的更新条件；计算结构计算模块，用于在所述判断模块判断出满足所述更新条件时根据所述监控模块监控的所述计算状态计算得到新的计算结构；其中，所述新的计算结构的计算效率大于所述当前计算结构的计算效率；切换模块，用于将所述计算任务的剩余数据切换至所述新的计算结构进行计算。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的集群计算方法。

本发明实施方式相对于现有技术而言，通过监控计算任务的当前计算结构在集群上的计算状态，并判断是否满足计算任务的计算结构的更新条件，在满足更新条件时，根据计算状态计算得到新的计算结构，并将计算任务的剩余数据切换至新的计算结构进行计算，从而实现计算结构在运行过程中的动态调整，由于新的计算结构的计算效率大于当前计算结构的计算效率，所以可提高对集群资源的利用效率以及计算任务的计算效率。

另外，所述计算任务的当前计算结构在集群上的计算状态包括：所述当前计算结构中的数据分布状态；所述根据所述计算状态判断是否满足所述计算任务的计算结构的更新条件具体包括：根据所述当前计算结构中的数据分布状态计算得到当前消耗评分，若所述当前消耗评分大于预设阈值，则判定满足所述更新条件。从而为计算结构是否需要更新提供了一种简单有效的判断方式。