[发明专利]工作流稳定性测试方法及设备

说明书

技术领域

本申请涉及计算机领域，尤其涉及一种工作流稳定性测试方法及设备。

背景技术

工作流产品对使用者来说是一种服务，它对外提供的接口可以是二方包，HTTP(超文本传输协议，HyperText Transfer Protocol)接口，或者是SDK(软件开发工具包，Software Development Kit)。工作流本身从功能上讲，没有业务逻辑，他的职能只是把用户定义的活动，按照用户希望的顺序和调度方式执行完成即可。从稳定性测试角度看工作流，其实没有过多业务依赖，调用路径也不长，所以要做就是把该产品依赖的环境异常模拟出来即可。

目前的工作流产品的稳定性除了自身性能的考核外，需要考虑外部依赖环境对工作流本身性能的影响，对外部依赖的稳定性测试，目前的实现方法相对离散，也就是各个异常场景下，测试各自的数据。针对工作流本身的稳定性测试，关注的是工作流本身的性能数据。在其特化的依赖环境发生异常时，对本身性能数据的影响都是以独立方式出现，比如网络、工作流节点、数据库这些依赖环境分别对性能的影响。但是彼此之间没有层次、没有抽象、也没有异常环境的叠加，大量重复逻辑由此产生。目前逻辑是针对每一种依赖模拟器其自身的异常场景，然后定义每一种异常用例和性能指标，做起来费时费力，有大量的重复工作在各种不同特征的模拟实现，接入以及实际执行场景上。现有的方案，看起来很复杂，每次稳定性测试时，需要重新模拟引起外部依赖异常的各种因素，这就需要大量重复工作模拟异常，整合异常到工作流逻辑，即将模拟异常耦合在性能测试本身的逻辑中，并生成无差别的性能指标数据。

从现有的成熟产品来看，要么是关注工作流本身的各项性能指标，要么是外部依赖环境如zookeeper，db(数据库)等自身资源的性能表现，没有产品会关注外部依赖环境和工作流本身整合的角度去试图简化问题。其中，Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务。

发明内容

本申请的一个目的是提供一种工作流稳定性测试方法及设备，解决每次稳定性测试时，需要重新模拟引起外部依赖异常的各种因素，需要大量重复工作模拟异常，整合异常到工作流逻辑的问题。

根据本申请的一个方面，提供了一种工作流稳定性测试方法，该方法包括：

将引起每个外部依赖环境异常的因素抽象为异常特征；

调用所述异常特征对工作流进行稳定性测试，并输出测试结果

进一步的，上述方法中，调用所述异常特征对工作流进行稳定性测试，包括：

将所述异常特征转化为接口；

调用所述接口对工作流进行稳定性测试。

进一步的，上述方法中，所述外部依赖环境异常包括网络异常、数据库异常、工作流节点异常、Zookeeper异常和异常数据中一种或任意组合

进一步的，上述方法中，调用所述异常特征对工作流进行稳定性测试，并输出测试结果，包括：

根据调用的异常特征确定对应的性能指标和异常指标；

调用所述异常特征对工作流进行稳定性测试，并输出包含所述性能指标和异常指标的测试结果。

进一步的，上述方法中，所述测试结果包括调用的异常特征。

进一步的，上述方法中，所述性能指标的测试结果包括工作流实例场景下的调度、执行耗时、并发量、请求数、成功率和最大、最小执行平均耗时中的一种或任意组合。

进一步的，上述方法中，所述异常指标的测试结果包括工作流实例场景下的不符合期望结果、不符合期望执行次数、活动异常和回滚异常中的一种或任意组合。

进一步的，上述方法中，所述工作流实例场景的种类包括串行工作流、并行工作流或包含子流程的工作流。

根据本申请的另一方面，还提供了一种工作流稳定性测试设备，该设备包括：

抽象装置，用于将引起每个外部依赖环境异常的因素抽象为异常特征；

测试装置，用于调用所述异常特征对工作流进行稳定性测试，并输出测试结果。

进一步的，上述设备中，所述测试装置，用于将所述异常特征转化为接口；调用所述接口对工作流进行稳定性测试。

进一步的，上述设备中，所述外部依赖环境异常包括网络异常、数据库异常、工作流节点异常、Zookeeper异常和异常数据中一种或任意组合。