[发明专利]一种面向问答系统的精准测试系统及方法

说明书

本发明公开了一种面向问答系统的精准测试系统及方法，使用最先进的算法(UnifiedQA)构建问答系统(QA)模型作为被测问答系统，使用语义搜索实现句子级别的变异并设计五个蜕变关系实现缺陷检测。与现有技术相比，本发明通过语义搜索过程保障生成的测试输入更真实自然，句子级别的变异方法使得生成的测试输入质量更高；本发明最显着的优势在于测试结果的高准确性(即检测到的缺陷有很低的误报率)。

技术领域

本发明涉及自然语言处理(NLP)应用软件的测试领域，特别是涉及一种面向问答系统的测试方法。

背景技术

问答系统(QAsystem)旨在从知识库或上下文中了解与给定问题相关的信息来生成答案。根据答案的信息源，QA系统可分为封闭世界(closed-world)QA系统和开放世界(open-world)QA系统。封闭世界QA系统将问题和上下文共同作为输入；开放世界QA系统仅将问题作为输入，并使用开放知识库作为知识源。QA系统应具备三种核心能力：问题的理解能力(理解问题的语义)、上下文信息检索能力(从上下文中检索到答案相关的信息)和知识推理能力(基于问题和上下文推理出答案的泛化能力)。

各种类型的QA数据集，例如问题的答案是“Yes”或“No”类型的布尔型(bool)QA、问题的答案是从上下文中提取的子串类型的抽取型(extractive)QA、问题的答案不是仅限于上下文的子串而是依据上下文推理综合出来的结果类型的抽象型(abstractive)QA。基于这些数据集提出了许多QA算法，如MultiQA、DOCQA和UnifiedQA。其中UnifiedQA算法通过构建单个QA模型来处理不同类型的封闭世界QA任务，已被证明在许多不同QA类型的数据集上都具备较高的准确率(accuracy)。

蜕变测试(Metamorphic Testing)根据被测软件的领域知识和软件的实现方法构造蜕变关系(Metamorphic Relation)，并利用蜕变关系缓解测试预言(Oracle)问题。以求和函数Sum为例，Sum的一种蜕变关系可以是“假设函数Sum(x₁,x₂)，其中输入值x₁和x₂可以是任意实数，如果交换两个输入值x₁和x₂的顺序，函数的值应该是相同的”。也就是有表达式：Sum(x₁,x₂)＝Sum(x2,x₁)。与传统的测试方法需要检查相应测试输入的输出结果是否正确不同，蜕变测试检查输入组和执行结果之间是否满足蜕变关系。由于测试预言的灵活性方法，蜕变测试已经在传统软件、深度学习软件等各个领域中广泛应用。

发明内容

基于上述现有技术，本发明旨在提出一种面向问答系统的精准测试系统及方法，基于蜕变测试过程提出一种新颖的句子级别的变异，通过生成高质量的测试输入实现了对封闭世界QA系统的精确测试方法。

本发明利用以下技术方案实现：

一种面向问答系统的精准测试系统，使用UnifiedQA构建问答系统模型作为被测问答系统模型，该系统包括蜕变关系构建模块、变异搜索模块和测试预言模块，其中：

所述蜕变关系构建模块，用于构建基于句子级别变异的一系列的蜕变关系；具体为提出五种句子级别变异规则，基于五种句子级别变异规则支持五种蜕变关系的构建；

所述变异搜索模块，借助NLP技术实现语义引导的变异搜索，来保证生成的测试输入真实自然；

从训练数据中搜索与原始测试输入语义相似的句子；将训练数据视为用于变异的句子的搜索空间；搜索到的句子用于生成新的测试输入；

所述测试预言模块，通过词组嵌入来测量输出答案和期望答案的语义，结合了最先进的短语嵌入模型，将输出答案和期望答案分别表示为向量后，计算它们之间的余弦相似度作为语义一致性分数：如果一致性分数小于预定义的阈值θ，则认为违反了蜕变关系，检测到潜在的缺陷。