[发明专利]一种测试深度神经网络稳定性的方法

说明书

本发明涉及一种测试深度神经网络稳定性的方法，包括以下步骤：将初始测试图像输入深度神经网络；将某一层的输入参数进行多次抖动，得到多个不同的输入参数，再分别使用多个参数进行该层的计算；上述步骤仅在某一层执行或者分别在多个层执行，并继续完成整个网络的计算，得到多个输出结果；多个输出结果累加后取平均值，作为最终结果；将最终结果和抖动之前的输出结果相减算出差值，差值越小则稳定性越高。本发明的方案将深度神经网络的中间参数进行抖动，不仅能够观察神经网络在应对一些低级、简单的特征变化时的稳定性，还能够观察到深度神经网络在应对高级特征变化时的稳定性，从而更全面地对神经网络进行测试。

技术领域

本发明属于机器学习技术领域，具体涉及一种测试深度神经网络稳定性的方法。

背景技术

深度神经网络在图像处理领域获得了广泛的应用。然而当一个网络训练完毕时，在真实使用场景下网络有时表现不够稳定，因为真实世界的图像和训练时往往有些许变化，这可能是由于图像采集机器型号的不同(光学相机，CT等)，或者是拍摄操作者的习惯问题，也有可能是环境(光线情况等)的影响。而真实世界的数据变化情况往往难以获取全面，如在医疗影像中，不同的医院往往使用不同的仪器，而每一个医疗数据获取都有严格的隐私问题。因此，在开发阶段模型训练完毕时，尤其是训练了多个模型的情况，如何选择稳定性最强的模型，是投入应用之前需要关心的重点问题。

关于这个问题，目前对模型稳定性测量的方式主要是，对初始的测试数据增加噪声来观察对模型输出准确率的影响。首先，这种方式需要对图像进行预处理，这显然增加了很多计算量。其次，该方法只能观察模型对一些低级特征变化的稳定性，而无法观察模型对高级特征变化的稳定性。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种更加全面的测试深度神经网络稳定性的方法。

为实现以上目的，本发明采用如下技术方案：

一种测试深度神经网络稳定性的方法，包括以下步骤：

将初始测试图像输入深度神经网络；

将某一层的输入参数进行多次抖动，得到多个不同的输入参数，再分别使用多个参数进行该层的计算；

上述步骤仅在某一层执行或者分别在多个层执行，并继续完成整个网络的计算，得到多个输出结果；

多个输出结果累加后取平均值，作为最终结果；

将最终结果和抖动之前的输出结果相减算出差值，差值越小则稳定性越高。

其中，所述深度神经网络包括级联的多个卷积层，卷积层之后还级联有全连接层。

进一步地，对输入参数进行抖动的方法为：

选取一个随机数，将输入参数与该随机数相乘，乘积再与输入参数本身相加，即得到一个新的输入参数。

在一个具体的技术方案中，进行抖动的所述输入参数为上一层输出的特征图。

对特征图进行抖动的具体步骤包括：

完成若干层的计算之后，输出的特征图为f；

从分布中选择一个δ值，抖动后的新的特征图为f+f×δ；

针对特征图的每一个通道，都分别选取不同的δ值进行抖动操作；

针对特征图上的每一个位置，都分别选取不同的δ值进行抖动操作；

其中，随机数δ服从均值为0的正态分布。

进一步地，可以对倒数第二层输出的特征图进行抖动操作；再将抖动后的多个新的特征图分别输入最后一层，计算后得出多个输出结果。

还可以对倒数第二层之前的某一层输出的特征图进行抖动操作；