[发明专利]一种数据密集型应用集成测试方法及系统

说明书

本发明公开了一种数据密集型应用集成测试方法及系统，该方法通过自动化定制生成数据密集型应用，并验证数据密集型应用是否满足数据密集型特征，以及在验证数据密集型应用满足数据密集型特征后，存储数据密集型应用，解决了现有技术无法自动定制生成并验证数据密集型应用的技术问题，不仅能自动定制生成数据密集型应用，而且能对自动定制生成的数据密集型应用进行验证，以及在验证数据密集型应用具有数据密集型特征后，存储该数据密集型应用，给研究人员提供了稳定、可靠的数据密集型应用测试用例，而且流程自动化更是提高了数据密集型应用生成的效率。

技术领域

本发明涉及信息数据处理技术领域，特别地，涉及一种数据密集型应用集成测试方法及系统。

背景技术

随着互联网技术的发展和普及，各种基于互联网技术的应用蓬勃发展，而且随着这些应用的用户量的增加以及用户数据的指数式的上升，分布式，异构化和数据密集度高成为这些应用的重要特征，这些应用被称为数据密集型应用。这类应用处理的数据之大也是其中的一大重要特征，通常数据集的规模达到了TB甚至是PB以上。数据集规模庞大，数据之间的依赖关系复杂也是数据密集型应用的重要特征之一。

在传统的计算方式中，超级计算机虽然可以解决海量数据计算问题，但是超级计算机的使用范围有限，因此越来越多的互联网服务在功能实现时逐渐将对计算需求转变为对数据处理的需求以及将数据转化为有用知识和信息实现数据智慧的需求。在传统的计算环境中，小量规模数据管理问题是研究的重点，并且有相当丰富的进展和成果，成功提出并且验证了各种数据集成和查询优化方法。但是，已有研究成果在处理数据密集型应用时无法自动定制生成并验证数据密集型应用，针对该问题，本发明提出了一种数据密集型应用的测试方法及系统。

发明内容

本发明目的在于提供一种数据密集型应用集成测试方法及系统，以解决现有技术无法自动定制生成并验证数据密集型应用的技术问题。

为解决上述技术问题，本发明提出的数据密集型应用集成测试方法，包括:

自动化定制生成数据密集型应用；

验证数据密集型应用是否满足数据密集型特征，并在验证数据密集型应用满足数据密集型特征后，存储数据密集型应用。

进一步地，自动化定制生成数据密集型应用的类型包括：

MapReduce类型的数据密集型应用以及IOZones类型的数据密集型应用，且MapReduce类型的数据密集型应用又包括DataReduction和WordCount类型的数据密集型应用。

进一步地，自动化定制生成IOZones类型的数据密集型应用包括：

获取用户输入的IOZones类型的数据密集型应用的范围信息，范围信息包括最大和最小节点数，最大和最小宽度，层数，以及RW个数；

初始化第一层和最后一层的节点个数为1，其余每一层在最大宽度和最小宽度之间取得一个随机数作为该层的节点个数；

在每一层中随机选择一个节点并且初始化该节点的任务为RW，同时将剩下的RW任务随机分配到还没有初始化的节点中去，以及将所有没有初始化的节点都初始化为R任务；

从第二层开始，每层的节点随机选择上一层的一个RW作为其双亲节点以保证每个节点的入度都必须大于0，检查每个RW任务节点的出度是否大于0，如果存在有RW任务节点的出度等于0，则从该节点所在层数的下一层中选择一个节点作为该节点的孩子节点，以保证RW任务节点的出度必须大于0，最后生成iozones_dag.txt结果文件；

从配置文件中读入迭代次数，读模式、写模式以及读写模式的范围，随机选择一种模式初始化每一个节点任务的命令信息，并且保存到iozones_command.txt文件中。

进一步地，验证数据密集型应用是否满足数据密集型特征包括：