[发明专利]MapReduce分布式系统的测试方法及设备

说明书

本发明提供一种MapReduce分布式系统的测试方法及设备。本发明实施例通过获取待测试的MapReduce分布式系统的作业类型和接口类型，进而根据预先配置的作业类型、接口类型与测试用例的对应关系，确定与所述作业类型和所述接口类型对应的测试用例，使得能够利用输入数据集，在所述MapReduce分布式系统上运行所述测试用例，以获得测试结果，由于采用与MapReduce分布式系统的作业类型和接口类型对应的测试用例进行性能测试，因此，可以全面地对MapReduce分布式系统的性能进行基准测试，从而提高了测试的可靠性和全面性。

【技术领域】

本发明涉及通信技术，尤其涉及一种MapReduce分布式系统的测试方法及设备。

【背景技术】

近年来，随着宽带网络技术与并行计算理论的快速发展，一种更简化的分布式系统即映射和汇总（MapReduce）分布式系统应运而生，以为多种应用提供服务，例如，为搜索引擎提供服务。在MapReduce分布式系统，例如，Hadoop系统，中，一个数据处理过程称为一个作业（Job），Job提交之后，将待处理数据分为N份，每份待处理数据由一个映射（Map）任务进行处理，Map任务运行在该MapReduce分布式系统中的一个节点设备上，一个节点设备上可以运行一个或多个Map任务；所有Map任务的输出结果由汇总（Reduce）任务进行汇总，输出对应的结果。其中，Hadoop是阿帕奇软件基金下的一个开源项目。

为了评估MapReduce分布式系统的优劣，可以对MapReduce分布式系统的性能进行测试。然而，现有的测试方法中，对MapReduce分布式系统的性能测试得比较片面，从而导致了测试的可靠性和全面性的降低。

【发明内容】

本发明的多个方面提供一种MapReduce分布式系统的测试方法及设备，用以提高测试的可靠性和全面性。

本发明的一方面，提供一种MapReduce分布式系统的测试方法，包括：

获取待测试的MapReduce分布式系统的作业类型和接口类型；

根据预先配置的作业类型、接口类型与测试用例的对应关系，确定与所述作业类型和所述接口类型对应的测试用例；

利用输入数据集，在所述MapReduce分布式系统上运行所述测试用例，以获得测试结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用生成的输入数据集，在所述MapReduce分布式系统上运行所述测试用例，以获得测试结果之前，还包括：

接收用户输入的输入数据量；

根据所述输入数据量，生成所述输入数据集。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用输入数据集，在所述MapReduce分布式系统上运行所述测试用例，以获得测试结果之后，还包括：

将所述测试结果写入第一数据库，所述第一数据库为一维数据库。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述测试结果写入第一数据库之后，还包括：

根据输出参数，将所述第一数据库中的所述测试结果写入第二数据库，所述第二数据库为多维数据库；

显示所述第二数据库中的所述测试结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用输入数据集，在所述MapReduce分布式系统上运行所述测试用例，以获得测试结果之后，还包括：

根据所述测试结果，对所述MapReduce分布式系统进行性能评估。