[发明专利]用于多层测试套件生成的方法和系统

说明书

一种用于针对包括架构层和系统层的操作平台开发多层测试套件的系统和方法包括针对基于软件错误所修改的操作平台的版本执行第一测试套件。在针对操作平台的修改版本所执行的第一测试套件失败的情况下递增第一计数器。能够针对操作平台的修改版本执行第二测试套件并且测试案例可以基于第二测试套件通过还是失败而被添加至第一测试套件。

相关申请的交叉引用

本申请要求于2016年08月24日提交的题为MULTI-LAYER TEST SUITE GENERATION的美国专利申请No.15/245,258的优先权，其内容通过引用结合于此。

技术领域

以下公开涉及用于计算设备的测试操作平台。

背景技术

诸如开放源操作平台之类的一些用于计算设备的操作平台在供应商的设备上实施时能够由供应商进行扩展。扩展可以包括修改操作平台的源代码或者扩展操作平台的一个或多个类以提供特定于供应商的功能。供应商扩展会导致跨操作平台的各种实施方式的不一致性，这会是想要为用户提供一致的用户体验的操作平台提供方所不期望看到的。跨各种实施方式的不一致性还会带来针对想要开发针对于该操作平台的应用的应用提供方而不是具体的供应商实施方式的问题。

操作平台提供方能够通过兼容性测试套件来解决不一致性。兼容性测试套件是应用于供应商设备的所提出发布版本的测试集合，所述供应商设备被配置为执行操作平台的特定于供应商的实施方式。根据供应商和操作平台提供方之间的协议，在供应商发布供应商设备的版本以便作为运行操作平台或者与之相兼容的设备来销售和/或营销供应商设备的该版本之前，供应商可以被要求保证所提出的供应商设备的发布版本通过了兼容性测试套件。

发明内容

在一个方面，一种用于针对操作平台开发测试套件的方法包括执行多个迭代。该多个迭代中的每一个与多个软件错误中所选择的一个相对应。每个迭代可以包括针对该操作平台的修改版本执行，所述第一测试套件包括第一多个测试案例。操作平台的修改版本能够通过改变该操作平台的基线版本以包括该多个软件错误中所选择的一个软件错误而被创建。每个迭代还可以包括在针对该操作平台的修改版本执行该第一测试套件导致该第一多个测试案例中的至少一个失败的情况下递增第一计数器。每个迭代还可以包括针对该操作平台的修改版本执行第二测试套件，所述第二测试套件包括第二多个测试案例，并且在针对该操作平台的修改版本执行该第二测试套件导致该第二多个测试案例中的至少一个失败的情况下递增第二计数器。每个迭代可以进一步包括在针对该操作平台的修改版本执行该第二测试套件并未在该第二多个测试案例中导致失败的情况下递增第三计数器。每个迭代还可以包括确定第一计数器与第二和第三计数器之和的比率，并且在该比率不满足第一阈值的情况下执行另一个迭代。该方法在该比率满足第一阈值的情况下停止经所述多个迭代进行迭代。

该方面的各种实施方式可以包括以下的一个或多个特征。在一些实施方式中，该方法在针对该操作平台的修改版本执行该第一测试套件时该第一多个测试案例中没有失败的情况下针对该操作平台的修改版本执行该第二测试套件。在一些实施方式中，该方法还可以包括在针对该操作平台的修改版本执行该第二测试套件导致该第二多个测试案例中的至少一个失败的情况下向该第一多个测试案例中添加测试案例。在一些实施方式中，该方法在执行多个迭代中的下一个迭代之前向该第一多个测试案例中添加该测试案例。在一些实施方式中，该方法还可以包括在针对该操作平台的修改版本执行该第二测试套件导致该第二多个测试案例中的至少一个失败的情况下标记该多个软件错误中所选择的一个软件错误。该方法还包括基于所标记的该多个软件错误中所选择的一个来开发测试案例和/或基于所标记的该多个软件错误中所选择的一个向该第一多个测试案例中添加测试案例。

在一些实施方式中，该方法针对该操作平台的修改版本执行第一测试套件在该第一测试套件包括至少一个测试案例的情况下被实行。在一些实施方式中，该方法可以基于先前所执行迭代的数量是否无法满足第二阈值而进一步执行下一个迭代。