[发明专利]一种基于随机森林的图数据处理框架自动调优方法

权利要求书

1.一种基于随机森林的图数据处理框架自动调优方法，包括以下步骤：

构建训练数据集，该训练数据集的每条样本数据表征图数据处理框架的配置参数组合、输入数据集大小与程序运行时间之间的对应关系；

基于所述训练数据集训练包含多棵决策树的随机森林模型，其中每个决策树的训练集通过对所述训练数据集进行引导聚焦生成，将经训练的随机森林模型作为性能预测模型，用于对不同参数配置组合结合输入数据集大小预测对应的程序运行时间；

在配置参数的搜索空间中，利用所述性能预测模型针对不同输入数据集大小，预测由遗传算法产生的不同配置参数的性能高低，进而获得最优配置参数。

2.根据权利要求1所述的方法，其中，基于所述训练数据集训练包含多棵决策树的随机森林模型包括：

从所述训练数据集中使用引导聚集算法，取出m个样本，共进行n_tree次采样，并根据这些采样生成n_tree个训练集，n_tree对应所述随机森林模型包含的决策树数量；

利用所述训练集训练n_tree棵决策树，其中对于单个决策树，先从该节点的属性结合中随机选择一个包含k个图数据处理框架属性的子集，然后每次分裂时根据信息增益或基尼指数从子集中选择最优属性进行分裂，进而生成多棵决策树组成随机森林模型。

3.根据权利要求1所述的方法，其中，所述性能预测模型的输出结果由多棵决策树的分类投票决定或由多棵决策树预测值的均值决定。

4.根据权利要求1所述的方法，其中，在配置参数的搜索空间中，利用所述性能预测模型针对不同输入数据集大小，预测由遗传算法产生的不同配置参数的性能高低，进而获得最优配置参数包括：

在配置参数的搜索空间中随机输入一组配置参数并通过所述性能预测模型计算得到初始化的个体适应度A标准，该个体适应度是预测的程序执行时间；

从配置参数的搜索空间中随机选择n组配置参数作为初始化种群P，对P中每个个体进行随机的交叉运算及变异运算；

利用所述性能预测模型对种群P及其后代进行适应度计算，并筛选出适应度高于A的个体组成新种群P’，将适应度最高的个体的适应度A’作为新的适应度标准A’，通过迭代运算找出适应度最高的个体，该个体对应最优配置参数。

5.根据权利要求1所述的方法，其中，所述构建训练数据集包括：

为每次图数据处理框架程序运行待优化程序自动生成配置参数，在每次运行结束后自动收集程序运行时间，与对应所使用的配置参数与输入数据集大小结合作为一条样本数据。

6.根据权利要求1所述的方法，其中，所述图数据处理框架包括Spark GraphX、PowerGraph或Tinker Pop。

7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至6中任一项所述方法的步骤。

8.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任一项所述的方法的步骤。