[发明专利]数据系统的测试系统和测试方法

说明书

本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括：用户层，用于为用户提供访问所述测试系统的方式；中间应用层，用于从所述用户层接收所述用户提交的请求，并且对于底层大数据平台协调多个任务进行请求的解析和处理；以及底层大数据平台，为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库，其中，所述中间应用层进一步包括数据访问接口，用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索，针对大数据软件的特点，提供了全面完善的测试系统。

技术领域

本发明一般地涉及计算机技术领域，更具体地，数据系统的测试系统和测试方法。

背景技术

随着开源MapReduce、HDFS、HBase、Spark等技术的商用化，大数据管理技术得到了突飞猛进的发展,随着大数据分析平台的不断建设，越来越多大数据存储计算系统将在用户的信息化系统中使用，如何客观地比较不同大数据系统，即大数据系统的评测，成为一个重要的技术方向。

事务性能管理委员会(TPC，Transaction Processing Council)是目前最知名的数据管理系统评测基准标准化组织。在过去二十多年间，该机构发布了多款数据库评测基准，如TPC-A、TPC-D、TPC-H和TPC-DS，在业界得到了广泛应用，最近一次发布的TPC-DS 2.X，是业界的第一套面向基于SQL之大数据系统的标准基准测试，其中包括Hadoop以及基于Apache Spark的各类系统，外加关系型数据库管理系统(简称RDBMS)，使用星形模型和雪花模型的混合模型构建成决策支持的数据仓库，使用更具多样性的查询模板来准确模拟决策支持系统面对的各种操作，几乎每个操作都有很高的IO负载和CPU计算需求。

现有的一系列评测基准，在研发出来以后的几十年间，没有大的改动，有利于人们的理解和使用，进行不同系统的纵向比较(不同时代的硬件软件系统的性能比较)和横向比较(同一时代的不同厂家的系统之间的比较)。但是，TPC系列评测基准对于评测近几年出现的各类大数据系统是不够用的。因为大数据管理和分析系统(包括各种NoSQL数据库、S3标准)是近几年才研发出来的，在面向的应用、采用的数据模型、一致性约束等方面，和传统的数据库不同。大数据本身以及大数据之上的应用，随着时间不断演化，需要新的大数据评测基准来对不同系统进行客观深入的评测。

发明内容

本发明针对现有技术中所存在的缺陷，提供了能够解决上述问题的数据系统的测试系统和测试方法。

根据本发明的一方面，提供了一种数据系统的测试系统，包括：用户层，用于为用户提供访问所述测试系统的方式；中间应用层，用于从所述用户层接收所述用户提交的请求，并且对于底层存储平台协调多个任务进行请求的解析和处理；以及底层大数据平台，为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库，其中，所述中间应用层进一步包括数据访问接口，用于读取和访问各类大数据平台的数据和文件。

优选地，所述中间应用层还包括：核心服务模块，用于提供数据服务，处理接收到的所述用户请求并将分解的请求分发到各个子任务模块；以及服务的公共模块，用于为各种服务提供辅助的日志管理、异常处理、服务异常的监控。

优选地，所述核心服务模块包括：数据生成服务子模块，用于提供测试数据和测试任务；任务提交服务子模块，用于将所述用户的测试请求提交到相应的大数据平台；结果比对服务子模块，用于判断各个测试任务的正确性和技术性能指标；以及资源监控服务子模块，用于采集被测系统的负载信息，对分析所述被测系统的性能指标提供数据支撑。

优选地，所述测试系统还包括测试基准模块，用于基于数据类型、样本数据、SQL标准、和标准接口进行设计，在所述数据类型、所述样本数据、所述SQL标准、和所述标准接口的基础上扩展功能基准、性能基准、稳定性基准和可靠性基准。