[发明专利]一种基于区分性反卷积的CNN可视化方法

说明书

本发明涉及一种基于区分性反卷积的CNN可视化方法，方法包括给定输入图像进行特征提取，并得到最高层特征图和分类结果,基于最高层特征图，使用Grad‑CAM方法，生成类别激活图。一方面，将类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图。另一方面，将类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图。将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图。本发明用于实现具有细粒度和类别区分性的CNN可视化效果。

技术领域

本发明涉及可解释性深度学习领域，具体涉及一种基于区分性反卷积的CNN可视化方法。

背景技术

卷积神经网络(CNN)取得了巨大成功，但其“black box”特征阻碍了其在一些领域的应用，不可解释的特点始终为人们所诟病。目前，人们对如何恰当地解释卷积神经网络的识别结果进行研究，从而为卷积神经网络能有更广泛的应用场景提供基础。

作为正向卷积的逆过程，反卷积是一种最为直接的可视化卷积神经网络的方法，可以产生相对细粒度的显著图。但经典的反卷积方法在CNN特征可视化应用中，中间层特征与输出层决策是两个分隔的部分，不能清楚的了解其中的哪些特征与哪个输出类别相关联。这样，导致其存在2个重要问题：一是从中间层激活分布重建输入图像，其重点在展示中间层的编码特征，以及了解中间神经元(或层)激活与输入空间的哪些特征相关，但对CNN预测结果的解释效果相对较弱；

二是重建的特征没有类别区分性，无法将输出的各类别信息与中间层特征关联起来，从而不能体现特征与类别之间的关系。

类激活映射(CAM)方法是一种类别区分性的可视化方法，在弱监督目标定位效果上表现良好，其中包括Grad-CAM，Grad-CAM++,Score-CAM等，这些方法虽然解决了上述方法中的一些缺陷，但在可视化效果上并没有明显的提升，仍然含有较多的视觉冗余，这些方法不可避免的产生没有意义的噪声，影响了可视化的视觉效果。

发明内容

本发明为解决现有反卷积可视化分辨率不高、目标局部信息不全、无法与CNN决策结果关联的问题，提供了一种基于区分性反卷积的CNN可视化方法，将Grad-CAM方法与反卷积方法相结合，生成具有细粒度特征以及类别区分性的热力图。

为了实现上述目的，本发明的技术方案是：

一种基于区分性反卷积的CNN可视化方法，所述方法包括：

步骤1：给定输入图像进行特征提取，得到最高层特征图和分类结果；

步骤2：基于最高层特征图与分类结果，使用Grad-CAM方法，生成类别激活图；

步骤3：将所述类别激活图作为初始特征图，逐层反卷积到输入空间，生成具有类别区分性的热力图；

步骤4：将所述类别激活图逐层融合中间层特征图，并使用反卷积恢复到输入空间，生成具有细粒度特征的热力图；

步骤5：将所述具有类别区分性的热力图与所述具有细粒度特征的热力图相融合，生成最终的热力图。

进一步地，所述步骤1包括最高层特征图的获取阶段：

输入图像，对所述图像在含有L个卷积层的CNN中进行正向特征提取，如公式(1)表示：

(A¹,A²,...,A^L)＝f_conv(x；θ) (1)；

其中，x为输入图像，L表示最后一个卷积层，A^l表示第l个卷积层的输出多通道特征图，1≤l≤L，θ表示卷积神经网络的参数集合，函数f_conv()表示正向卷积过程，A^L表示最高层特征图。