[发明专利]基于反馈机制的自然语言处理模型测试用例约简方法

权利要求书

1.一种基于反馈机制的自然语言处理模型测试用例约简方法，其特征在于：该方法包括以下步骤：

步骤1)、依据被测的目标模型抽取测试集的特征向量，获取测试集特征向量形式的数据集合，在特征向量形式的数据集合上分层抽样获取初始数据集D，初始数据集D的数量为N；

步骤2)、使用步骤1)抽取的初始数据集D，依据已有的评价测试用例被错误分类可能性大小的评价函数和截取数据集的评价函数对初始数据集D进行分类，第一类为容易使模型出错的数据类型，第二类为不容易使模型出错的数据类型；

步骤3)、使用步骤2)得到的分类好的初始数据集D训练模型SVM，使用训练好的SVM分类剩余数据，获得容易使模型出错的数据，再将其与步骤2)得到的初始数据集D中容易使模型出错的数据合并，得到初始测试集T；其中，所述的剩余数据为原始测试集去掉初始数据集D后的数据；其中，原始测试集为目标模型待测试优化的目标集合。

2.根据权利要求1所述的一种基于反馈机制的自然语言处理模型测试用例约简方法，其特征在于：所述的特征向量形式为目标模型网络最后隐藏层输出的特征向量。

3.根据权利要求1或2所述的一种基于反馈机制的自然语言处理模型测试用例约简方法，其特征在于：该方法进一步还包括：

步骤4)、使用步骤3)得到的初始测试集T测试目标模型获得错误数据，依据反馈机制将所述的错误数据反馈到步骤2)得到的分类好的初始数据集D中，重新训练SVM并使用重新训练好的SVM分类，重新分类完成后再与初始数据集D中数据合并获得第一个迭代后的测试集T₁，即完成第一次迭代；重复上述过程直到抽取的错误数据数量不再改变，即达到最大迭代次数，最大迭代次数对应得到的测试集，即为测试约简后得到的最终测试用例集。

4.根据权利要求3所述的一种基于反馈机制的自然语言处理模型测试用例约简方法，其特征在于：该方法进一步还包括：

将这部分最终测试用例集重新整理成文本形式的测试集，再一次测试目标模型，并借助约简后的最终测试用例集的准确性下降率和抽取出的错误数据数量来评估方法的有效性。