[发明专利]一种协议一致性测试的方法及系统

说明书

技术领域

本发明涉及通信技术领域，特别是涉及一种协议一致性测试的方法，以及，一种协议一致性测试的系统。

背景技术

计算机网络尤其是internet正以前所未有的速度走进人类生活的方方面面并发挥着日益重要的作用。协议是网络的灵魂，是通信双方共同遵守的标准与规范，是网络建立和应用的基础，理所当然地成为当前研究的热点。但是在实践中，通常制定协议与实现协议是由不同的技术人员完成的，因此对于同一协议标准，不同的厂家可能有不同的实现，因此迫切需要一种有力的方法来对协议实现进行判别，这种方法就是“协议测试”。

协议测试一般分为三类：一致性测试，性能测试和互操作性测试。一致性测试是协议测试的基础，协议只有保证它的实现与标准的一致性，才能进行下一步的性能测试与互操作测试。目前的协议一致性测试系统大都支持两种测试模式：手动测试与自动化测试。由于协议一致性测试系统的测试用例集中且测试用例数量庞大，采用手动测试的方法遍历执行整个测试集往往需要耗费大量的时间，故主要用于产品研发前期（产品研发前期特性支持不全，Bug（漏洞）较多）进行特性集成测试以及Bug定位。随着产品特性的丰富，采用常规的手动测试无法满足需求，自动化测试的需求重要性不言而喻。

现有的协议一致性测试系统自动化测试中，由测试执行(TestExecute，简称TE)触发相关的测试流程（现有的自动化测试测试流程如图1所示），由自动化测试服务器(Automation Test Server，简称AT Server)适配被测系统(System Under Test，简称SUT)的自动测试服务，测试执行(TE)与自动化测试服务器(AT Server)一一对应实现对被测系统(SUT)的自动化协议测试。现有的协议一致性测试系统自动化测试多采用上述“一对一”的测试配置方案，即在一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系是一一对应的。

参照图2示出了“一对一”集中式部署自动化测试系统的结构框图，所述一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系可以一一对应的部署在同一台机器中；或者，参照图3示出了“一对一”分布式部署自动化测试系统的结构框图，所述一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系可以一一对应的部署在不同的机器。不管如何，测试执行(TE)与被测系统(SUT)之间都属于“一对一”的部署方式，这就决定了在一项测试任务下只能对一套被测系统的自动化测试。

上述的协议一致性测试系统自动化测试采用的“一对一”的测试配置方案存在以下不足：

(1)测试效率低，采用“一对一”的测试配置方案，一项测试任务下只能对一套被测系统(SUT)进行自动化测试；

(2)测试配置不灵活，如果采用集中式部署，在支持多套被测系统的测试的情况下，将导致“驱动泛滥”(如同一台机器装载多套被测系统的驱动软件)，容易引起软件冲突；如果采用分布式部署，虽然解决了软件冲突，但还是无法解决同一项任务下只能对一套被测系统(SUT)进行自动化测试的问题。

(3)测试成本高，自动化测试多在无人值守的情况下进行，如果需要对多套被测系统(SUT)进行自动化测试，需要配置多套测试执行(TE，多指仪表)，而测试执行(TE)价格昂贵，将会导致测试成本大幅增加。

因此，本领域技术人员所要解决的技术问题是提供一种一致性测试系统自动化测试机制，用以灵活进行自动化测试，提高自动化测试的效率，降低自动化测试成本。

发明内容

本发明所要解决的技术问题是提供一种协议一致性测试的方法，用于在启动一项测试任务时能够支持多套被测设备进行自动化测试，因而在无人值守的情况下提高测试效率、降低测试成本。

相应的，本发明还提供了一种协议一致性测试的系统，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种协议一致性测试的方法，包括：

启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；

分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

优选地，所述分别在子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集的步骤包括：

按测试需求选择N个子测试任务，其中所述N大于1；