[发明专利]一种分布式计算框架参数优化方法、装置及系统

权利要求书

1.一种分布式计算框架参数优化的方法，其特征在于，包括：

获取当前提交的分布式计算框架作业；

在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，所述分布式计算框架历史作业运行数据库包括历史分布式计算框架作业的执行信息及配置参数；

在同类的分布式计算框架作业中，检索与所述分布式计算框架作业相似的历史分布式计算框架作业；

根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。

2.如权利要求1所述的方法，其特征在于，所述在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业之前，所述方法还包括：

检查所述分布式计算框架作业是否存在指定的分布式计算框架运行参数；

当所述分布式计算框架作业不存在指定的分布式计算框架运行参数时，执行所述在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业的步骤。

3.如权利要求1所述的方法，其特征在于，所述根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置，包括：

在相似的历史分布式计算框架作业中，获取评分最高的历史分布式计算框架作业，使用评分最高的历史分布式计算框架作业的配置参数作为所述分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置；或

在相似的历史分布式计算框架作业中，获取评分大于预设阀值的多个分布式计算框架作业，按照多个分布式计算框架作业的相似程度，加权计算多个分布式计算框架作业的配置参数，使用加权计算得到的配置参数作为所述分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。

4.如权利要求1所述的方法，其特征在于，还包括：

当所述分布式计算框架作业执行完毕时，收集所述分布式计算框架作业执行信息及配置参数；

对所述分布式计算框架作业执行信息进行评分，并将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中。

5.如权利要求4所述的方法，其特征在于，对所述分布式计算框架作业执行信息进行评分，具体为：

获取所述分布式计算框架作业运行的时间消耗和空间消耗；

根据所述分布式计算框架作业运行的时间消耗和空间消耗，生成所述分布式计算框架作业运行的时间消耗代价和空间消耗代价；

根据预先建立的分布式计算框架作业的评分模型，以及所述分布式计算框架作业运行的时间消耗代价和空间消耗代价对分布式计算框架作业运行进行评分。

6.如权利要求4所述的方法，其特征在于，在所述根据预先建立的分布式计算框架作业的评分模型，以及所述分布式计算框架作业运行的时间消耗代价和空间消耗代价对分布式计算框架作业运行进行评分之前，包括：

建立评分模型；

所述评分模型为

其中，F_Job(τ,υ)表示一个作业运行时的评分，τ,υ分别表示对应的时间消耗代价、空间消耗代价，作业执行评分时τ,υ的函数。α，β是时间消耗代价评分和空间消耗代价评分的权重，i为时间消耗代价的中属性值的序号，τ_i对应于时间消耗代价的第i个属性值，j为空间消耗代价的中属性值的序号，υ_j表示对应于空间消耗代价的第j个属性值，则分别对应上述两个属性的权重，其中参数α，β用于可以调节设置时间消耗代价和空间消耗代价哪个更优先；的目的是为了消除各代价属性值量级不同的差异，通过设置来规范化的计算F_Job(τ,υ)。

7.如权利要求4所述的方法，其特征在于，所述将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中，具体为：

采用树形存储方式，将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中。

8.如权利要求1所述的方法，其特征在于，在预先建立的分布式计算框架历史运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，包括：

在预先建立的分布式计算框架历史运行数据库中，采用搜索树节点方式，检索与所述分布式计算框架作业同类的历史分布式计算框架作业。