[发明专利]一种在线配置Hadoop参数的方法和装置

权利要求书

1.一种在线配置Hadoop参数的方法，其特征在于，所述方法包括：

作业监控器对生产环境集群中用户所提交作业的数据量进行监控；

当监控到所述生产环境集群中用户所提交作业的数据量大于预设值时，所述作业监控器统计当前配置下所述生产环境集群的k个节点在p个任务阶段中每个任务阶段完成所述用户所提交作业的平均完成时间pat_phase，所述p个平均完成时间pat_phase构成集合PhaseAveTime，所述k为大于1的自然数；

作业匹配器器分别计算所述集合PhaseAveTime与配置数据库n个记录中作业特征属性集合JobAveTime的n个欧几里得距离，获得所述n个欧几里得距离中最小欧几里得距离对应的记录，所述配置数据库n个记录分别包含n个作业对应的n个训练作业在训练时获得的n个作业特征属性集合和n个完成所述n个训练作业时所使用的最优配置，所述n为大于1的自然数；

资源平衡器比较所述当前配置和最优配置，若所述当前配置和最优配置的配置参数值不等，则将所述最优配置设置为所述数据量大于预设值的用户所提交作业在所述生产环境集群中运行时使用的配置。

2.根据权利要求1所述的方法，其特征在于，所述作业监控器统计当前配置下所述生产环境集群的k个节点在p个任务阶段中每个任务阶段完成所述用户所提交作业的平均完成时间pat_phase，包括：

统计当前配置下所述生产环境集群的k个节点中任意第i个节点在p个任务阶段中每个任务阶段完成所述用户所提交作业的完成时间

对所述按照公式计算，得到当前配置下所述生产环境集群的k个节点在p个任务阶段中每个任务阶段完成所述用户所提交作业的平均完成时间pat_phase，所述下标phase表示所述p个任务阶段中任意一个任务阶段。

3.根据权利要求1所述的方法，其特征在于，所述作业匹配器分别计算所述集合PhaseAveTime与配置数据库n个记录中作业特征属性集合JobAveTime的n个欧几里得距离，获得所述n个欧几里得距离中最小欧几里得距离对应的记录，包括：

按照公式TimeEuclidDistance=(Σphase∈Phase(jatphase-patphase)2)]]>计算所述集合PhaseAveTime与配置数据库n个记录中作业特征属性集合JobAveTime的n个欧几里得距离，所述TimeEuclidDistance为所述集合PhaseAveTime与配置数据库n个记录中作业特征属性集合JobAveTime的n个欧几里得距离中的任意一个欧几里得距离，所述jat_phase∈JobAveTime，所述jat_phase为对所述n个作业中的一个作业进行s次随机抽样所得s个训练作业Ws提交至测试环境集群中运行时，在所述p个任务阶段中一个任务阶段完成所述s次所述n个作业中的一个作业的平均完成时间，所述Phase为所述p个任务阶段构成的集合，所述phase为所述Phase中的元素；

获得TimeEuclidDistance的最小值后，从所述配置数据库中取使得所述n个欧几里得距离中欧几里得距离最小时对应的记录。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述作业监控器对生产环境集群中用户所提交作业的数据量进行监控之前，还包括：

作业训练器获取所述n个作业对应的n个训练作业在训练时获得的n个作业特征属性集合和完成所述n个训练作业时所使用的n个最优配置。