[发明专利]一种系统测试方法以及装置

说明书

本申请提供了一种系统测试方法以及装置，用于将TPC‑W测试任务拆分成两个阶段，由初步的第一阶段筛选出不满足TPC‑W测试基准的待测系统，进而可在一定程度上提高TPC‑W测试效率。

技术领域

本申请涉及测试领域，具体涉及一种系统测试方法以及装置。

背景技术

TPC-W测试基准，可以理解为针对如网上书店这类电子商务环境的数据库测试，或者，也可以称为针对web服务系统的系统测试，其规范了涉及的电子商务网络事务交易的类型以及性能指标。

可以理解，TPC-W测试基准是从理论层面上对测试进行规范的，而实际操作中，需要在其规范范围内做出相应的测试工具，符合其测试要求即可，因此，在测试工具的研发工作中，还可能碰到TPC-W测试基准在理论层面上未考虑到的实际问题。

而在现有的相关技术的研究过程中，发明人发现，现有的TPC-W测试工具，其在部分测试场景中存在测试效率较差的问题。

发明内容

本申请提供了一种系统测试方法以及装置，用于将TPC-W测试任务拆分成两个阶段，由初步的第一阶段筛选出不满足TPC-W测试基准的待测系统，进而可在一定程度上提高TPC-W测试效率。

第一方面，本申请提供了一种系统测试方法，方法包括：

测试设备在触发对目标系统的TPC-W测试任务后，配置TPC-W测试任务对应的用户模拟程序以及TPC-W模拟事务，TPC-W测试任务为在TPC-W测试基准下进行的系统测试任务，TPC-W测试任务包括第一阶段以及第二阶段，TPC-W模拟事务包括第一阶段对应的第一TPC-W模拟事务以及第二阶段对应的第二TPC-W模拟事务；

测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第一TPC-W模拟事务；

测试设备采集目标系统对于第一TPC-W模拟事务的响应结果；

当第一TPC-W模拟事务的响应结果中的页面响应时长小于TPC-W测试基准中的时长限制时，测试设备通过用户模拟程序模拟目标系统的用户，并以并发模式向目标系统发起第二TPC-W模拟事务；

测试设备采集目标系统对于第二TPC-W模拟事务的响应结果，并在预设的测试需求下根据第二TPC-W模拟事务的响应结果分析得到目标系统的TPC-W测试结果，TPC-W测试结果包括交易吞吐率测试结果以及ACID特性测试结果，交易吞吐率测试结果包括选定测试的比例因子下每秒的web交互次数WIPS@SF、正常商务模式下每个web交互的代价$/WIPS@SF、浏览模式下每秒的web交互次数WIPSb、订购模式下每秒的web交互次数WIPSo，ACID特性测试结果包括原子性测试结果、一致性测试结果、隔离性测试结果以及耐久性测试结果。

结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，原子性测试结果的ACID测试处理包括：

执行Trade-Order事务，并将输入参数roll_it_back标志设置为0；

验证是否已在TRADE以及TRADE_HISTORY表中插入了相应的行，若是则确定Trade-Order事务的语句已被执行，符合原子性特性；

以及，

执行Trade-Order事务，并将输入参数roll_it_back标志设置为1；

验证与Trade-Order事务相应的行是否没有分别插入到TRADE表以及TRADE_HISTORY表，若是则确定Trade-Order事务的语句已被执行，符合原子性特性。

结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，一致性测试结果的ACID测试处理包括：