[发明专利]一种面向黑盒测试背景下的回归测试用例分类方法

说明书

本发明提供了一种面向黑盒测试背景下的回归测试用例分类方法，包括下列步骤：1)预处理测试用例对应的文本信息；2)采用LDA(Latent Dirichlet Allocation)话题模型技术对预处理后的文本进行主题建模，将其表示成文本特征数目固定的主题特征向量；3)随机选取部分测试用例为其构造测试预言，并在演化后的软件版本上运行，根据运行结果标注其类别；4)基于主题特征向量及测试用例的类别信息训练SVM分类器；5)将待分类的测试用例对应的主题特征向量作为分类器的输入，输出测试用例的类别。本发明解决了被测软件源代码不可见情形下的软件回归测试验证问题，提高了软件测试的自动化程度及软件测试效率。

技术领域

本发明属于软件测试技术领域，且特别是关于一种面向黑盒测试背景下的回归测试用例分类方法。该方法实现了被测软件源代码不可见及测试预言缺失情形下的软件测试自动化验证，增强了黑盒测试背景下的无测试预言的回归测试的可行性，提高了软件回归测试效率。

背景技术

软件测试是软件生命周期中的一项重要活动，其主要用于保障软件质量与可靠性。由于软件的升级、软件错误的修复及软件运行环境的变化，软件处于动态演化中。软件一旦发生变化就需要对其进行回归测试，以确保软件的变化没有引入新的错误，且未对原有的代码产生副作用。另外，程序员也通过回归测试建立一种信心。作为软件生命周期代价最昂贵的活动之一，回归测试占了软件维护阶段总费用的50％，总测试预算的80％。在极限编程与快速迭代开发模式中，回归测试消耗更多的测试资源。软件的复杂性以及回归测试高昂的测试代价对软件测试与维护人员提出了新的挑战。有效地降低回归测试资源消耗，提高回归测试的效率已成为软件工程研究领域和工业界亟待解决的问题。

鉴于知识产权的保护及商业机密等原因，软件交给第三方机构进行测评时，其源代码是不公开的。这增加了其测试的难度。无论是在演化的当前软件版本上运行已有的测试用例，还是运行新增的测试用例，都需要基于测试预言检验被测软件的运行是否正确。然而，测试预言的构建是借助专家知识完成的，非常耗时耗力。例如：验证医学影像分割软件就需要依赖医生的专业知识构建测试预言，据此判断分割的医学影像是否正确。

软件演化后原有的测试用例集不一定满足测试充分性的要求，需要产生新的测试用例，同时也要为每一个新产生的测试用例构造测试预言。相似地，针对历史版本中的测试用例构造的测试预言在演化后的软件版本上会发生失效，这就需要基于演化的软件版本为原有的测试用例重新构造测试预言。在当前的工业界，仍是借助手工方式产生测试预言。这意味着软件测试需要消耗更多的测试资源。伴随软件多样性与复杂性的不断增加，亟需软件测试的自动化验证技术，以满足工业需求。

在回归测试背景下，如果不构造测试预言或仅为少量测试用例构造测试预言而又能自动判定回归测试用例的类别将大大地降低回归测试能耗，提高回归测试效率。测试用例反映了测试意图，相似的测试用例的错误检测能力是非常接近的。这意味着相似的测试用例的类别几乎是一致的。测试用例对应的文本信息反映了测试意图，收集该信息并训练分类模型，从而实现自动化判定新增测试用例与原始测试用例在演化之后的软件版本上的类别。这为测试预言缺失及被测软件源代码不可用情形下的回归测试提供了一种高效、可行的解决方案。

随着敏捷开发与快速迭代开发方法的不断普及，软件的回归测试变得更加频繁。为此，软件回归测试需要消耗更多的测试资源。另外，测试预言难以构造及被测软件源代码的不可见性都增加了软件回归测试的难度。这使得传统的回归测试用例分类方法已经越来越不能满足软件回归测试的实际需要。

发明内容

本发明目的在于提供一种面向黑盒测试背景下的回归测试用例分类方法，解决被测软件源代码不可见及测试预言缺失情形下的软件回归测试自动化验证问题。基于测试用例的特征信息对回归测试用例进行自动化分类，实现黑盒测试背景下被测软件的自动化验证，从而提高软件回归测试效率，进而增强软件产品的质量。