[发明专利]一种深度神经网络模型可视化解释方法及系统

说明书

本发明涉及一种深度神经网络模型可视化解释方法及系统。该方法包括：给定待解释的输入图片，利用变分自编码器生成合成图片；通过深度神经网络模型对合成图片打标签，依据合成图片的标签是否变化将合成图片分为两类，得到合成标签，从而得到合成数据集；在合成数据集上训练可解释模型，将深度神经网络模型的知识蒸馏到可解释模型中；根据训练好的可解释模型，建立输入图片和深度神经网络模型的预测结果的对应关系，进而得到一张显著图，从而实现对深度神经网络决策结果的解释。本发明能够提高深度神经网络模型的可解释性，使模型透明化，使用户更好地理解深度神经网络的决策过程，从而促进模型的实际部署，推动人工智能领域研究的发展。

技术领域

本发明属于计算机领域，尤其涉及一种深度神经网络模型可视化解释方法及系统。

背景技术

深度神经网络模型在许多领域都具有非常好的性能，比如人脸识别、图片分类、自然语言处理等，但是这种表现更多的依赖于模型高度的非线性和调参技术。人们无法探知深度模型究竟从数据中学到了哪些知识，以及如何进行最终决策的。这种“端到端”的决策模式导致深度神经网络模型的解释性极弱。站在人的角度分析，模型的决策过程是无法理解的，即深度神经网络模型是不可解释的。

深度神经网络模型的不可解释性存在很多的潜在危险，尤其在安全攻防领域。一方面会降低模型的可信度，难以建立人与机器之间的信任；另一方面也会带来难以解决的安全问题，比如对抗样本攻击模型时，很难说明是哪些原因导致结果出现了如此大的偏差，从而无法对模型的攻击进行追踪和溯源。此外，一个不可解释的模型由于无法给予用户更多可靠的信息，在很多领域的实际部署会受到极大地限制。模型的不可解释性所带来的一连串问题，也在不断驱动我们深入地探究如何提高深度学习模型的可解释性。因此，人们一直致力于更透彻地去理解深度学习模型内部复杂的过程，从而达到进一步优化模型的目的。

对于深度神经网络模型，可解释性主要体现在三个方面：第一，对于使用者来说，如果人工智能的技术只是提一些建议或者帮助我们做决定，那么做决定的人必须要能够理解这个决策，为什么人工智能系统给他们提了这个建议。比如，医生借助人工智能诊断疾病时，要能理解为什么医疗诊断系统做这样的建议。第二，对于受到AI(人工智能)影响的人，如果AI自己做了决定，那些受到决定影响的人要能够理解这个决定。第三，对于开发者来说，理解了深度学习的黑盒子，可以通过提供更好的学习数据，改善方法和模型，提高系统能力。而且提高深度学习模型的可解释性和透明度，将有助于模型的除错、引导未来的数据收集方向、为特征构建和人类决策提供真正可靠的信息，最终在人与模型之间建立信任。

为了提高深度学习模型的可解释性，已经提出了很多可解释性方法，比如利用特征重要性衡量不同特征对决策结果的影响，对不同的特征进行汇总统计或者显著性可视化，以此建立特征和预测之间的因果关系；或者利用本质上可解释的模型近似模拟黑盒模型，然后通过查看可解释性模型内部的参数或者特征统计信息来解释该黑盒模型。比如借助可解释的决策模型或稀疏性的线性模型来近似黑盒模型，可以通过蒸馏等方法，在可解释的模型上建立输入和输出之间的关系，实现可解释性的迁移。

目前可解释性的研究成果仍然无法满足对深度模型的要求，主要还存在以下问题：

1)对深度模型进行解释的效果不理想。尽管已经提出了很多的可解释性方法，有的方法也取得了不错的解释结果。但是目前所能实现的可解释性仍然达不到人们对神经网络的要求，深度模型内部的运作机制依旧不是人为可以理解的方式。目前的可解释性研究更多的还是停留于初级探索阶段，尤其在安全领域，从而限制了人工智能的进一步应用。

2)缺乏统一的可解释性评价指标。由于可解释的概念偏向于抽象，所以导致缺乏可信的评价指标，更多的是定性评价可解释性方法，缺少统一的定量指标。可解释性衡量指标的缺乏归根到底还是人们对人工智能的可解释性理解不够，从而会影响可解释性的研究。