[发明专利]一种基于抑制不相关特征的神经网络可解释性方法

说明书

本发明涉及深度学习技术领域，公开了一种基于抑制不相关特征的神经网络可解释性方法，包括：获取预训练的卷积神经网络模型；获取输入图像X；根据所述输入图像X，获取最小化的损失函数，保持选中神经元的激活情况不变，并抑制同一层其他神经元的激活去抹除不相关的视觉特征，同时减少优化结果中产生的噪声，以得到优化后的输入图像所述损失函数的公式为α和β为权重系数。本发明能在输入图像中保留只和该神经元激活相关的视觉信息，多个优化后的输入图像中的一致特征信息，能够帮助使用者理解分类网络中特定神经元所关注的特征。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于抑制不相关特征的神经网络可解释性方法。

背景技术

卷积神经网络已经在许多计算机视觉任务中都表现出了优越的性能，并且开始被应用到例如人脸识别、自动驾驶以及医学影像分析等真实场景中。然而卷积神经网络模型仍然缺少可解释性，即使用者并不知道是输入到模型中的何种视觉信息使得神经网络做出了特定的决策，或者是什么样的视觉特征和卷积神经网络中的一个特定卷积核有关。由于卷积神经网络缺乏可解释性，所以在利用神经网络模型进行重大决策时，网络的黑盒性质会严重影响对其预测结果的信任，尤其是在医学影像智能诊断这种高风险领域。因此，透明化神经网络这个黑盒子、使其变得可解释，具有重要意义。目前，深度学习模型的可解释性研究主要有对卷积神经网络模型输出预测结果以及内部神经元的理解。

现有技术中，基于扰动的方法虽然能找到和模型输出的预测结果非常相关的局部图像区域，但是问题在于一个区域中存在多种特征信息，这种方法仍然不能准确地找到究竟是哪些特征和预测结果相关，因为输入图片的一个区域内可能只有部分特征会和神经元的激活相关。现有的基于反向传播的方法，例如利用反卷积可视化特征，虽然能帮助使用者去理解一个特定神经元在关注的特征，但是这类方法找到的很有可能只是部分与神经元激活相关的特征，考虑到会存在多种视觉特征激活同一个神经元的情况，因此，它也还不能很好地去解释神经元到底在关注什么。

因此，如何提供一种基于抑制不相关特征的神经网络可解释性方法，以理解分类网络中单个神经元关注的特征成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何提供一种基于抑制不相关特征的神经网络可解释性方法，以理解分类网络中单个神经元关注的特征。

为此，根据第一方面，本发明实施例公开了一种基于抑制不相关特征的神经网络可解释性方法，包括：获取预训练的卷积神经网络模型；获取输入图像X；根据所述输入图像X，获取最小化的损失函数，保持选中神经元的激活情况不变，并抑制同一层其他神经元的激活去抹除不相关的视觉特征，同时减少优化结果中产生的噪声，以得到优化后的输入图像所述损失函数的公式为α和β为权重系数。

可选地，采用如下公式得到优化的输入图像保留与选中神经元激活相关的特征：

其中，对于该层第i个要理解的神经元，F_i为原始输入图像对应这个神经元的输出特征图，该输出特征图的大小为H×W，，为使用优化后的输入图像作为网络模型输入时，对应神经元的输出特征图。

可选地，采用如下公式得到优化的输入图像去除与选中神经元k_i激活不相关的特征：

可选地，采用如下公式得到减噪后的输入图像

其中，W₀和H₀为优化后的输入图像的宽度和高度。