[发明专利]基于反馈机制的自然语言处理模型测试用例约简方法

说明书

本发明公开了一种基于反馈机制的自然语言处理模型测试用例约简方法。本发明可以有效削减测试成本，提升测试效率，并提升这类模型的质量。本发明包括：步骤1)、在原有数据集基础上依据数据类别分层抽样获取小的数据集D；2)、依据已有的测试用例评价函数将数据集D分为两类，第一类为容易使模型出错的类别第二类为不容易使模型出错的类别；3)、使用分类好的数据集训练SVM模型，并使用训练好的SVM模型对剩余数据进行分类得到初始测试集T；4)、引入反馈机制，使用初始测试集进行测试得到错误数据，将错误数据反馈到SVM模型中对其参数进行及时调整，并重新对剩余数据进行分类和得到新的错误数据，迭代到最大迭代次数停止得到最终约简后的测试用例集。

技术领域

本发明涉及软件测试技术中的软件测试优化技术领域和软件控制论中的反馈机制，尤其涉及一种面向深度神经网络的基于反馈机制的自然语言处理模型测试用例约简方法，在测试用例约简策略定义的排序函数和截取函数的基础上设计反馈机制来使挑选测试用例的过程，能及时依据反馈信息进行调整并降低算法成本。

背景技术

软件测试是保证软件质量和可靠性的重要手段。对于任何软件项目来说，测试除了造成直接的成本外，测试问题在维护期间给软件生产商带来巨大的额外费用，可以说测试是最昂贵的任务之一。软件测试优化技术是软件测试的重要组成部分，可以帮助测试人员快速查找缺陷，减少资源的占用，旨在对测试过程进行优化以降低测试带来的各项成本并大大提升测试效率。

当今有三种方法来实现软件测试优化，分别是测试用例选择、测试用例排序和测试用例约简。测试用例选择是通过样本选择的方法获得一个和原始测试集同分布的小数量的测试集。测试用例排序旨在将使软件出错可能性大的测试用例往前排，帮助测试人员尽快发现缺陷。测试用例约简则是去掉冗余的测试用例，将容易使软件出错的测试用例集中在一个更小的测试集中来实现测试优化。

基于深度神经网络的自然语言处理技术不断在我们身边落地，在经济、服务甚至安全关键领域扮演着重要角色，保证这类系统的质量至关重要。但是随着这类模型的规模越来越庞大，不可避免的会给测试过程带来更多成本，使用一种专门针对这类模型的测试优化策略来降低成本和提升效率具有实际意义。已有的方法大多应用于计算机视觉领域，针对的模型处理的数据为图片数据或自然语言中非文本类型的数据。但是自然语言数据由人编辑，本身具有模糊性、时序性和不规范性等特点，NLP也真正意义上属于认知智能的领域要求模型具有更强的信息提取能力，而且与其他基于神经网络技术之间存在较大差异。因此不能直接将现有的测试优化方法直接用在这类模型上，需要结合文本数据和这类模型的特征找到一种专门适用于基于深度神经网络的自然语言处理技术模型的测试优化方法。自然语言包含的丰富信息和自带主观性和模糊性等数据特点导致对这类数据进行标记具有较高成本，同时给这类数据标记带来难度，这也使带标签的文本数据较难获得、数量少，以及存在获得带标记文本数据成本高的问题。本发明的目的旨在解决这两大问题，一方面削减测试用例标记成本，另一方面结合反馈机制将文本信息及时反馈到分类算法中实现这类模型的测试用例约简策略。

软件控制论思想由蔡开元教授于1994年首次提出，应用控制论的方法来解决软件工程问题。反馈是控制论的基本概念和有用的基本原理之一，控制理论的根源在于使用反馈作为调节物理过程和调节建模不确定性和噪声影响的手段。本发明这种基于反馈机制的测试优化方法，不必对全部数据进行运算，这会削减一部分运算成本，多次迭代过程组成的闭环反馈，通过反馈信息及时调整整个算法对测试用例的挑选过程。这就给整个软件测试优化策略带来了一定的可控性，可控性是指仅使用某些可接受的更改在其完整配置空间内移动系统的能力。