[发明专利]一种基于综合类激活映射的图像分类可解释方法

说明书

一种基于综合类激活映射的图像分类可解释性方法。本发明公开了一种基于综合类激活映射的图像分类可解释性方法，可以实现类判别性更好、噪声更小的解释效果。它的可解释方法如下：为了让权值的求解具有一定的数学逻辑依据，引入敏感性和一致性公理；使用消融下降(Ablation drop)作为特征图的初始权重，以解决梯度加权类激活映射存在的梯度饱和问题；将初始掩码进行双线性插值上采样、归一化和高斯噪声处理操作；处理后的掩码与输入图像进行哈达玛积，经网络模型计算后进行加权平均处理得到激活图的最终权重。本发明应用于卷积神经网络图像分类模型的可解释性。

技术领域

本发明涉及深度学习可解释性技术领域中，具体涉及一种基于综合类激活映射的图像分类可解释方法。

背景技术

近年来，深度学习在图像、声音、自然语言处理等领域取得卓越成效，但对于产生的结果是不容易解释的，有些情况下甚至是不可控的，这一架构在“端到端”模式下、通过计算大量的数据来进行误差反向传播而优化参数的学习方法被比喻为一个“黑盒子”。在图像目标识别的过程中机理不清楚，造成目标特征不直观、网络可分性不可控，对很多现象无法正确解释。由于模型内部的非线性和复杂性，导致无法以人类可理解的方式理解模型的决策结果，造成了深度学习模型的不可解释性，人们难以得知深度模型到底从训练数据中学到了哪些东西，以及如何进行最终决策的，这极大地限制了深度模型的广泛应用。深度学习模型的不可解释性也会带来许多潜在的危险，尤其是在安全攻防领域。一方面会降低模型的可信赖度，难以让人类相信深度学习模型；另一方面也会带来比较棘手的安全性问题，例如，当对抗样本扰动对模型造成干扰时，很难弄清楚导致结果出现了巨大偏差的原因，从而导致难以对对抗攻击的来源进行追踪。

因此，开展深度卷积神经网络图像分类任务的可解释性算法研究，解决多层智能识别网络缺乏数学理论支撑、存在机理不明确等问题。突破网络结构、参数寻优、收敛控制、误差边界、学习速度等黑盒因素的数学解释的关键技术，解决无法使用模型解析方法对智能算法提供可靠性理论依据的问题。

发明内容

本发明的目的是为了实现类判别性更好、噪声更小的解释效果，提出的一种基于综合类激活映射的图像分类可解释方法。

上述发明目的主要是通过以下技术方案实现的：

S1、将输入图像送入图像分类网络生成选定特征层的特征图；

S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理；

如图1所示最终的类激活映射都是对卷积特征图的加权求和，的计算公式如下：

式中c为感兴趣类别，即待可视化的类别，l为应用CAM的目标层，A^k为网络第l层第k个通道的特征图，为特征图A^k的权重；

权值的确定是关键问题，不同的权值定义产生不同的CAM方法，常用的CAM方法有CAM、Grad-CAM、Grad-CAM++等。CAM是类激活映射系列方法的开山鼻祖，但由于无法可视化带有全连接层的CNN，其应用场景受限。除CAM以外，最为人所知的方法是Grad- CAM，该方法首先计算感兴趣类别得分(softmax归一化之前的值)相对每个特征映射的梯度，然后用每个特征映射的梯度平均值作为对应特征映射的权值。Grad-CAM适用于任意CNN 结构，但缺乏充分的数学逻辑来证明梯度的平均可以代表各个特征映射对分类结果的重要性。

公理是可视化方法应该满足的不言而喻的特性，满足这些公理使得可视化的方法更加可靠和理论化。因此，为了更好的可视化和解释CNN的决策，本发明引入两个公理：敏感性和一致性。

敏感性的计算公式如下：