[发明专利]一种大数据云平台下多环境配置的数据采集方法

说明书

本发明公开了一种大数据云平台下多环境配置的数据采集方法，包括步骤：1)根据提供的配置项，选取对大数据平台效率影响较大的配置项；2)根据步骤1)选择的配置项，根据各配置项的范围进行随机不重复采样。本发明通过自动化的办法找出可取的配置项，并通过不重复采样，采集到大数据平台的配置项参数和运行时间，以便不同的使用者选择最适合自己的配置项参数。

技术领域

本发明涉及大数据平台下参数采样的技术领域，尤其是指一种大数据云平台下多环境配置的数据采集方法。

背景技术

近些年来，随着互联网技术的蓬勃发展，大数据的概念不断被提及。大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、管理和处理能力。为解决这类问题，大数据平台应运而生。大数据平台依赖分布式系统，从各种各样的数据中挖掘出有价值的信息。大数据平台以其以较快的速度，解决体量巨大、类型多样的数据，具有极高的价值。

大数据平台广泛采用MapReduce架构实现分布式计算的功能。MapReduce是Google提出的一个软件架构，通过Map(映射)操作和Reduce(归纳)操作两类操作，来实现对数据的处理。数据集经过一系列的操作过程和数据传输过程，最终得到期望的结果。在这个复杂的过程，许多因素都将影响大数据平台的工作效率，如网络IO效率、硬盘IO效率、处理器核数、内存大小等。同时，由于大数据平台广泛采用MapReduce模型作为计算模型，MapReduce计算时所采用的传输模块大小、不同阶段之间的通信方式等因素也极大地影响着MapReduce架构的处理速度，影响着大数据平台的效率。

为合理地设置大数据平台中的各项配置项，我们首先需要找出对大数据平台影响较大的几类配置项。以往的工作大部分通过人工随机选取配置项，这样不仅会舍弃一些重要的配置项，也可能会选择一些对大数据平台工作效率影响较小的配置项。故采取一些自动的搜索方法不仅可以选择出影响更大的配置项，也减少了该项工作的时间。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种大数据云平台下多环境配置的数据采集方法，通过自动化的办法找出可取的配置项，并通过不重复采样，采集到大数据平台的配置项参数和运行时间，以便不同的使用者选择最适合自己的配置项参数。该方法利用二分法和Reservoir Sampling算法提高配置选择的合理性和采样的随机性。

为实现上述目的，本发明所提供的技术方案为：一种大数据云平台下多环境配置的数据采集方法，包括以下步骤：

1)根据提供的配置项，选取对大数据平台效率影响大的配置项，具体如下：

1.1)初始化配置项选择集，将从官方文档中得到的影响大的配置项加入配置选择集；

1.2)读入待选择配置项集中的第一项的配置项名称和该配置项的参数空间的上下限范围；

1.3)使用二分法搜索配置项的参数空间，并通过实际运行情况决定是否将该配置加入配置项选择集；

1.4)将待选择配置项集中第一项配置移除；

1.5)判断待选择配置项集是否为空，若为空，则得到最终的配置项选择集，否则，返回步骤1.2)，继续处理其它待选择配置项；

2)根据步骤1)选择的配置项，根据各配置项的参数空间的上下限范围进行随机不重复采样，具体如下：

2.1)初始化配置项选择集中各配置的选择步长；

2.2)根据各配置项上下限和选择步长，生成完整的配置项参数集；

2.3)使用Reservoir Sampling算法，从配置项参数集中选择所需数量的配置项参数，得到采样集；

2.4)收集采样集中各元素作为大数据云平台的配置来处理任务所需的运行时间。