[发明专利]一种对于卷积神经网络判别部分黑箱问题的自解释方法

说明书

本发明公开了一种对于卷积神经网络判别部分黑箱问题的自解释方法，具体按照以下步骤实施：步骤1、提出一种可解释距离，作为衡量模型可解释性指标；步骤2、将CNN网络的卷积层和池化层构成一个特征提取器；步骤3、将步骤2得到的特征提取器的输出即特征图作为CNN网络全连接层的输入；步骤4、在全连接层中，使用步骤3的特征图对CNN网络中的输入图像样本进行分类并贴标签；步骤5、使用全连接层构成CNN网路的判别部分；步骤6、构建三层节点的DCLM模型；步骤7、提出新型博弈方法进行DCLM模型与步骤6构建的CNN网络的博弈训练，以提高CNN网络判别部分的可解释性。本发明解决了现有技术中存在的解释方法误差大的问题。

技术领域

本发明属于计算机领域深度学习技术领域，具体涉及一种对于卷积神经网络判别部分黑箱问题的自解释方法。

背景技术

近年来，卷积神经网络(下文称CNN)作为深度学习的代表算法，在一些例如计算机视觉、计算机游戏等特定任务上的表现已经明显超越了人类的能力。然而，神经网络处理问题的方式存在很难被人们来理解和解释的问题，由于这种普遍存在的难以解释性，进而在应用中导致了许多公平性、隐私性、稳健性、以及可信度方面的问题；当前许多研究人员试图围绕CNN的黑箱问题，进行不同方式的解释。

所谓CNN的黑箱问题，主要难点在其判别部分的不可解释问题，当前处理此类问题的主要方法有两类：事前方法和事后方法(Holzinger et al.，2019)；由于事前方法一般是透明的建模方法(Arrietaa et al.，2020)，它难以获取到关于判别部分的解释，因此，常用技术主要集中于第二种事后方法。

早期的事后方法主要通过提取一个可预见的模型来获得神经网络的全局解释。(CravenShavlik,1999；Krishnan等人，1999年；博兹,2002；JohanssonNiklasson,2009)提出了一种通过最大化增益比和估计当前模型的保真度的方法，来寻找用于解释神经网络的决策树；

(CravenShavlik,1994；JohanssonNiklasson,2003年；AugastaKathirvalavakumar,2012；Sebastian等人，2015；Zilke等人，2016)提出了从神经网络中搜索最优可解释规则的一种特定规则提取方法；

近年来，也产生了一些特征关联方法，例如Montavon等人(Montavon et al.，2017)提出的一种基于深度泰勒分解的网络分类决策分解方法；Shrikumar等人(Shrikumaret al.，2016)提出的一种计算多层神经网络重要性分数的DeepLIFT算法，该算方法通过解释某些参考输出的输入与其参考输入之间的差异来解释其输出的差异；

除此之外，还有Che等人提出了一种称为可解释模拟学习的利用梯度增强树提取可解释简单模型的简单精馏方法，Thiagarajan等人通过特征空间的层次划分建立复杂模型的树状视图表示来提高解释性；还有一些学者提出了将知识从一个模型集合转化为单个模型的精馏方法，Wu等人提出了一种基于知识精馏的树正则化方法来表示基于多层感知的神经网络输出特征空间；

然而，这些方法只能解决训练后的神经网络或具有显式输入特征的训练后的深度神经网络所存在的无法解释的问题；并且由于训练数据集中存在数据偏差和噪声数据，导致传统机器学习方法难以保证识别部分的可解释性能和泛化性能一致收敛的充要条件；除此之外，可解释性能是表示判别部分与其最优可解释模型之间的距离，当判别部分具有较好的泛化性能时，其往往会偏离其最优可解释模型，从而产生一种错误的可解释模型。

发明内容

本发明的目的是提供一种对于卷积神经网络判别部分黑箱问题的自解释方法，解决了现有技术中存在的解释方法误差过大的问题。

本发明所采用的技术方案是，一种对于卷积神经网络判别部分黑箱问题的自解释方法，具体按照以下步骤实施：

步骤1、提出一种可解释距离，作为衡量模型可解释性指标；