[发明专利]智能化场景下流量监测系统的测试样本生成方法

说明书

本发明涉及智能化场景下流量监测系统的测试样本生成方法，属于计算机与信息科学技术领域。主要是为了解决现有的智能化场景下流量监测系统的测试样本生成方法存在未考虑神经元组合作用影响和生成条件严苛难以应用于实际测试的问题。本发明首先，构造一组种子测试集和三种变异模型，同时初始化组合覆盖列表；其次，对随机选择的一个种子测试，最大化原模型和变异模型结果置信度的差异性；接着，选择未达成组合覆盖条件的三元组，最小化使下层神经元发生状态转换的两个上层神经元的变动距离；最后，对以上两步进行联合优化，使用梯度上升算法求解，构造测试数据，并通过模型差异检测判断是否保留。重复执行如上步骤，直到种子数据集为空。

技术领域

本发明涉及智能化场景下流量监测系统的测试样本生成方法，属于计算机与信息科学技术领域。

背景技术

近年来，随着人工智能技术的不断发展，以深度学习为核心的智能化系统开始逐渐应用于计算机流量监测相关领域，在智能化场景下，以数据作为驱动的深度学习模型为流量监测系统提供了优良的准确率。但与此同时，由于诸如训练样本存在偏差、训练样本不充分等问题，深度学习模型经常会在极端样本数据输入情况下产生不正确的判别行为。对于流量监测系统这种与安全高度相关的领域，这种不正确的判别行为将可能产生难以预期的灾难性后果。因此，对于智能化场景下的流量监测系统，应当像传统软件一样，必须针对不同的极端样本数据输入进行充分测试。

不同于传统流量监测系统由开发者直接指定逻辑，以数据作为驱动的智能化流量监测系统将使系统中的深度学习模型组件从训练数据集中自动学习规则。这种差异使得开发者无法知晓系统中深度学习模型的内部逻辑结构，同时，庞大的神经元数量也使得传统软件测试中的各种覆盖测试无法直接应用。因此，在一段长久的时间内，智能化场景下的流量监测系统的系统测试仅仅局限于黑盒测试方法，即通过对训练数据集和测试数据集的多样性划分以及通过对数据样本的微小扰动以生成可能使模型产生错误判别行为的对抗样本以进行测试，这种方法直接忽视了系统深度学习模型的内部结构，盲目地寻找或生成这类极端样本数据输入，使得系统测试存在着测试效率低下和测试不充分等问题。近年来，研究者开始不断着眼于深度学习模型的内部结构，企图以此作为指导更加高效地生成这些极端样本数据输入，提出了神经元覆盖率白盒测试方法，并以此作为优化条件，生成极端样本数据输入。然而，现有的神经元覆盖准则，仅仅考虑单一神经元的覆盖作用，这些准则往往忽视了神经元之间组合作用的影响，使得生成的测试数据集依然存在无法检测出模型误判的问题。除此之外，差分测试也逐渐被应用于深度学习模型的测试样本生成中，通过最大化相同或相似功能模型预测结果的差异性来指导生成测试数据。然而差分测试要求计算模型预测结果间的差异性，也就意味着至少需要2个相同或相似功能的模型，这在实际的测试中往往是难以满足的。

综上所述，现有的智能化场景下流量监测系统的测试样本生成方法存在未考虑神经元组合作用影响和生成条件严苛难以应用于实际测试的问题。

发明内容

本发明的目的是针对现有的智能化场景下流量监测系统的测试样本生成方法存在未考虑神经元组合作用影响和生成条件严苛难以应用于实际测试的问题，提出了联合组合测试和突变测试的智能化场景下流量监测系统的测试样本生成方式。

本发明的设计原理为：首先，从模型的测试数据集中随机选取一组种子数据集，对模型引入3种突变因子，生成相应的3种变异模型，同时初始化组合覆盖列表；其次，在种子数据集中随机选择1个种子数据，输入到原模型和3种变异模型中，最大化原模型和各变异模型对预测结果置信度的差异性；接着，从组合覆盖列表中选择一组未实现组合覆盖准则的神经元，最小化原模型中使神经元组中下层神经元发生状态转换的两个上层神经元的变动距离；最后，对以上两个问题进行联合优化，使用梯度上升算法求解，引入流量数据限制条件，修改种子数据，检测该数据是否能引起原模型与变异模型预测结果产生差异，是则加入测试数据集，反之则丢弃并在种子测试集中重新选取。重复执行如上步骤，直到种子数据集为空。

本发明的技术方案是通过如下步骤实现的：

步骤1，构造种子测试集、变异模型，初始化组合覆盖列表。