[发明专利]一种基于抑制不相关特征的神经网络可解释性方法

权利要求书

1.一种基于抑制不相关特征的神经网络可解释性方法，其特征在于，包括：

获取预训练的卷积神经网络模型；

获取输入图像X；

根据所述输入图像X，获取最小化的损失函数，保持选中神经元的激活情况不变，并抑制同一层其他神经元的激活去抹除不相关的视觉特征，同时减少优化结果中产生的噪声，以得到优化后的输入图像；所述损失函数的公式为，其中，和为权重系数，为了保留与选中神经元激活相关的特征，为了去除与选中神经元k_i激活不相关的特征，为了减噪；

采用如下公式得到优化的输入图像，保留与选中神经元激活相关的特征：

，

其中，对于第i个要理解的神经元，F_i为原始输入图像对应这个神经元的输出特征图，该输出特征图的大小为H×W，为使用优化后的输入图像作为网络模型输入时，对应神经元的输出特征图；

采用如下公式得到优化的输入图像，去除与选中神经元k_i激活不相关的特征：

，

其中，N为神经元的数量；

采用如下公式得到减噪后的输入图像：

，

其中，W₀和H₀为优化后的输入图像的宽度和高度。

2.一种基于抑制不相关特征的神经网络可解释性装置，用于实现如权利要求1所述的方法，其特征在于，包括：

获取模型模块，用于获取预训练的卷积神经网络模型；

获取图像模块，用于获取输入图像X；

优化图像模块，用于根据所述输入图像X，获取最小化的损失函数，保持选中神经元的激活情况不变，并抑制同一层其他神经元的激活去抹除不相关的视觉特征，同时减少优化结果中产生的噪声，以得到优化后的输入图像。

3.一种计算机装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如权利要求1所述的基于抑制不相关特征的神经网络可解释性方法。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，处理器用于执行存储介质中存储的计算机程序实现如权利要求1所述的基于抑制不相关特征的神经网络可解释性方法。