[发明专利]基于关键决策逻辑设计测试覆盖率的网络模型测试方法

说明书

本发明公开了一种基于关键决策逻辑设计测试覆盖率的网络模型测试方法。处理得到训练集中每个训练图片样本在深度神经网络模型中的关键决策路径；根据训练集中所有训练图片样本的关键决策路径综合处理成深度神经网络模型的关键决策图；根据关键决策图对测试集处理获得测试覆盖率；利用测试覆盖率控制测试，获得完备性衡量测试结果。本发明基于关键决策路径与关键决策图的抽取，构建了两种测试覆盖率，在计算简单、使用效率高、存储代价小的基础上，提高了测试覆盖率的可解释性，并提升了对测试集测试覆盖率衡量的准确性。

技术领域

本发明涉及计算机软件测试领域的网络模型测试方法，具体是涉及了一种基于关键决策逻辑设计测试覆盖率的网络模型测试方法。

背景技术

传统软件测试旨在检测现有行为和期望行为之间差异的任何活动。软件测试的一般步骤是先从待测软件的输入域中选择一组测试用例(输入，输出)，然后将这些测试用例交给待测软件执行，比较待测软件的实际输出与预期输出是否相符，若不符合，表明待测软件存在缺陷，其中测试覆盖率衡量使用提供的测试输入可以评估多少测试目标程序。

与传统软件测试类似，深度神经网络模型的测试目标是检测神经网络(DeepNeural Network,DNN)的决策逻辑来检测出模型中错误的预测，然而不像传统软件中有明确控制流图，神经网络的决策逻辑对人们来说是不透明的，很难根据神经网络的行为逻辑来设计合适的测试覆盖率。而神经网络的神经元输出在一定程度上能够揭示神经网络的行为，因此现有很多技术通过神经元输出来设计测试覆盖标准，现有的技术认为测试图片样本集对神经元输出的值域空间覆盖越大，则该测试图片样本集的覆盖率越高。

现有的技术主要是通过神经元的输出来衡量测试覆盖率，而神经元输出与DNN内部决策逻辑的关系十分不清晰，所以很难理解现有的测试覆盖率的意义以及其准确性，太粗糙的测试覆盖率将会丢失掉对一部分决策逻辑的测试，太精细的测试覆盖率会使得相近的决策逻辑将需要不同的大量样本来测试，增加测试的难度。

发明内容

为了保障深度学习系统的安全与可靠性，需要对其进行安全检测，本发明提出了一种针对深度神经网络的测试覆盖率，该测试覆盖率与深度神经网络模型的决策逻辑结合更加紧密，使得该测试覆盖率更具有可解释性以及更有效。

本发明保障深度神经网络模型的安全与可靠性，能更好地针对深度神经网络模型进行安全测试。

如图1所示，本发明解决问题的技术方案如下：

S1：处理得到训练集中每个训练图片样本在深度神经网络模型中的关键决策路径；

所述的训练集是由众多训练图片样本及其对应的类别标签构成，所述的训练集内的所有训练图片样本已经按需划分为所需分类的各个类别标签。

S2：根据训练集中所有训练图片样本的关键决策路径综合处理成深度神经网络模型的关键决策图；

S3：根据关键决策图对测试集处理获得测试覆盖率，作为确定神经网络测试集的测试范围；

S4：利用测试覆盖率控制测试集对深度神经网络模型进行测试，以测试覆盖率作为当前测试集占总测试集的比例，获得用当前测试集对深度神经网络模型完备性衡量测试的结果。

本发明的深度神经网络模型由多层的神经元组成，神经元的参数由大量图片样本组成的训练集训练而得到。

所述的深度神经网络模型的层是指卷积层、全连接层、归一化层等网络层。

本发明所述的深度神经网络模型是针对图像进行处理。

所述步骤S1中：

S11：将训练集每一张训练图片样本输入到深度神经网络模型中，将深度神经网络模型每一层的每个神经元的每个输出输入到逐层相关值推导的方法中处理计算获得每个神经元的每个输出的关于最终预测结果的相关值；