[发明专利]一种大数据云平台下多环境配置的数据采集方法

摘要

本发明公开了一种大数据云平台下多环境配置的数据采集方法，包括步骤：1)根据提供的配置项，选取对大数据平台效率影响较大的配置项；2)根据步骤1)选择的配置项，根据各配置项的范围进行随机不重复采样。本发明通过自动化的办法找出可取的配置项，并通过不重复采样，采集到大数据平台的配置项参数和运行时间，以便不同的使用者选择最适合自己的配置项参数。

主权项

1.一种大数据云平台下多环境配置的数据采集方法，其特征在于，包括以下步骤：1)根据提供的配置项，选取对大数据平台效率影响大的配置项，具体如下：1.1)初始化配置项选择集，将从官方文档中得到的影响大的配置项加入配置选择集；1.2)读入待选择配置项集中的第一项的配置项名称和该配置项的上下限；1.3)使用二分法搜索配置项的参数空间，并通过实际运行情况决定是否将该配置加入配置项选择集；1.4)将待选择配置项集中第一项配置移除；1.5)判断待选择配置项集是否为空，若为空，则得到最终的配置项选择集，否则，返回步骤1.2)，继续处理其它待选择配置项；2)根据步骤1)选择的配置项，根据各配置项的范围进行随机不重复采样，具体如下：2.1)初始化配置项选择集中各配置的选择步长；2.2)根据各配置项上下限和选择步长，生成完整的配置项参数集；2.3)使用Reservoir Sampling算法，从配置项参数集中选择所需数量的配置项参数，得到采样集；2.4)收集采样集中各元素作为大数据云平台的配置来处理任务所需的运行时间。