[发明专利]基于神经元覆盖率的图像深度学习模型测试方法与装置

说明书

本发明公开了一种基于神经元覆盖率的图像深度学习模型测试方法与装置，方法包括：选取图像数据集及M个采用图像数据集预训练好的图像深度学习模型；搭建生成式对抗网络；生成式对抗网络的生成器将随机分布映射为扰动图，再将扰动图加到图像数据集中的原始样本上，生成生成样本；针对M个预训练好的图像深度学习模型，以图像数据集作为训练集，基于神经元覆盖率和注意力机制训练生成式对抗网络；以图像数据集作为输入，分别采用M个训练好的生成器生成对抗样本，汇总后获得测试数据集；利用生成的测试数据集对待测图像深度学习模型进行测试。本发明基于注意力机制和神经元覆盖率，使得图像深度学习模型的测试结果更加可靠。

技术领域

本发明涉及机器学习领域，尤其涉及一种基于神经元覆盖率的图像深度学习模型测试方法与装置。

背景技术

在过去的几年中，深度学习取得了长足的进步，在包括图像分类、语音识别和文本理解在内的多种场景中，人工智能达到或超过了人类水平。这些进步使得深度学习在安全性和安全性至关重要的系统(例如自动驾驶汽车、恶意软件检测和飞机防撞系统)中得到广泛应用和部署。

随着研究的不断进行，研究者发现深度学习模型容易受到各种人眼不可观测的样本攻击。因此，像传统软件一样，必须对深度学习系统行系统测试，以检测和修复任何潜在的缺陷或不良行为。但是，由于训练好的深度学习模型具有成千上万个神经元和数百万个参数，使得真实世界的深度学习系统的自动化和系统测试难以进行。

测试深度学习系统的标准方法是收集并手动标记尽可能多的真实测试数据。某些深度学习系统(例如Google无人驾驶汽车)也使用仿真来生成综合训练数据。但是，因为测试数据的收集过程没有考虑目标深度学习系统的内部结构，因此对于深度学习系统的大量输入空间(例如，无人驾驶汽车的所有可能路况)，这些方法无法覆盖所有的极端案例。

现有的深度学习模型评测方法引用传统软件测试的方法，分为白盒测试和黑盒测试。白盒测试主要通过神经元的覆盖情况进行评测，这是一个全局的概念，这类方法在评测时，因其深度学习系统的输入空间比较大，会引入大量的不必要的神经元，造成系统的开销过大，并且引入冗余神经元会较大地影响覆盖率准确性。黑盒测试不观察深度学习系统在运行时的内部行为，而是从源级(训练数据和训练程序)或模型级(无需训练直接注入)注入故障以评估测试数据质量，但是这类评测方法类似于传统的突变测试，由于需要生成大量的突变DNN模型，需要对目标测试集进行评估，因此需要较大的计算量。

现有技术中至少存在以下缺点和不足：

(1)测试数据集生成效率较低。

(2)生成的测试数据集只对某一种模型可用，迁移性较差。

发明内容

本发明提供了一种基于神经元覆盖率的图像深度学习模型测试方法与装置，该方法基于注意力机制和神经元覆盖率，可以高效地测试图像深度学习模型。

本发明的具体技术方案如下：

一种基于神经元覆盖率的图像深度学习模型测试方法，包括以下步骤：

(1)选取图像数据集；选取M个采用所述图像数据集预训练好的图像深度学习模型；

(2)搭建生成式对抗网络；生成式对抗网络的生成器将随机分布映射为扰动图，再将扰动图加到图像数据集中的原始样本上，生成生成样本；生成式对抗网络的判别器用于区分原始样本和生成样本；

(3)针对M个预训练好的图像深度学习模型，以图像数据集作为训练集，基于神经元覆盖率和注意力机制训练生成式对抗网络，获得M个训练好的生成器；

(4)以图像数据集作为输入，分别采用M个训练好的生成器生成生成样本；将M个训练好的生成器所生成的生成样本汇总，获得测试图像深度学习模型的测试数据集；

(5)利用生成的测试数据集对待测图像深度学习模型进行测试。