[发明专利]一种基于离散系数的深度神经网络近似模型分析方法

说明书

本发明公开了一种基于离散系数的深度神经网络近似模型分析方法，包括以下步骤：构建待分析的深度神经网络；按类别输入数据集样本，获取各类别深度神经网络的特征图；利用得到的各类别特征图度量深度神经网络中各节点激活值变化情况，进而计算各节点贡献度；根据深度神经网络各层节点贡献度，对卷积核进行删除，获得深度神经网络的近似模型。本发明提出的基于离散系数的深度神经网络近似模型分析方法，可以对深度神经网络节点贡献度进行度量，且得到与原网络性能相近的近似模型。

技术领域

本发明属于深度神经网络可解释性研究领域，具体涉及一种基于离散系数的深度神经网络近似模型分析方法。

背景技术

随着近些年计算机性能的快速发展，深度学习成为了引领本轮的人工智能热潮的关键技术，得到了社会的广泛讨论与关注。深度学习算法已经在计算机视觉、自然语言处理、音频识别等领域取得了重大成果。

然而，尽管深度学习技术已经取得许多不错的成绩，但其仍然存在着一些需要攻克的局限与缺点，其中，深度学习缺乏可解释性是目前深度学习技术的最主要缺点。目前深度神经网络模型对于使用者来说如同一个黑盒，给它一个输入，然后通过深度神经网络计算后得出决策结果，但是不能知道其内部决策的过程以及决策的依据是什么，从而也无法得知决策结果是否可靠人们还缺乏对深度神经网络模型运行的中间过程的清晰认识。

随着深度学习技术性能愈发提升、应用场景愈发广泛，如何理解深度神经网络模型以及如何了解其做出决策的过程是在许多应用领域中急需解决的问题。因此，研究如何对深度神经网络的决策过程进行分析，了解信号在神经网络中的传递过程，具有重要意义。

发明内容

本发明所要解决的技术问题在于针对上述现有技术的不足，提供一种基于离散系数的深度神经网络近似模型分析方法，解决深度神经网络节点规模庞大导致网络难以分析的问题，增强深度神经网络的可解释性，帮助理解深度神经网络模型，提高深度学习算法的可信性。

为解决上述技术问题，本发明采用的技术方案是：一种基于离散系数的深度神经网络近似模型分析方法，其特征在于，包括以下步骤：

1.一种基于离散系数的深度神经网络近似模型分析方法，其特征在于，包括以下步骤：

步骤一、构建待分析的深度神经网络：

步骤101、构建待分析的某一深度神经网络的模型架构；

步骤102、利用某一数据集对构建的深度神经网络模型进行训练，获得训练好的网络权重；

步骤二、按类别输入数据集样本，获取各类别深度神经网络的特征图：

步骤201、根据数据集标签对数据集进行分类，若数据集包含n个类别，得到各类别数据集样本D_i，其中i＝1,2...n为样本类别序号；

步骤202、将各类别数据集样本D_i依次输入待分析深度神经网络中，获得各类别数据集样本在待分析网络各中间隐藏层所对应的特征图，若各类别数据集样本中样本数为m_i，以及待分析网络有k个卷积层，则得到的第i个类别的特征图可表示为其中j＝1,2...m_i为数据集样本序号；

步骤三、利用得到的各类别特征图度量深度神经网络中各节点激活值变化情况，进而计算各节点贡献度：

步骤301、对深度神经网络中每个卷积核所对应的特征图取最大值，得到卷积核的激活值其中d＝1,2...k为深度神经网络中卷积层序号，j＝1,2...m_i为数据集样本序号，i＝1,2...n为样本类别序号，A^[d]为长度为c_d的一维向量，c_d表示深度神经网络第d层卷积层中卷积核数量。

步骤302、将同类别所有激活值样本对取平均值，得到各类别平均激活值样本