[发明专利]用于神经网络的全局解释的方法和系统

说明书

神经网络模型的层被顺序遍历一次或多次，同时每次基于神经网络模型的神经元权重和神经元偏置生成多个相关性分数。多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性。可以从在一次或多次中生成的多个相关性分数填充一个或多个相关性向量。每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性。基于一个或多个相关性向量，将神经网络的行为的解释生成为整体。

技术领域

该领域通常涉及人工神经网络和可解释人工智能。

背景技术

深度学习允许开发比其他机器学习方法更精确的人工智能(AI)，即使针对复杂数据结构。与传统的机器学习方法不同，深度学习模型可以通过不断从新的业务(transaction)中学习来随着时间的推移改善其预测。这种连续训练的过程可以自动化，这可以允许深度学习模型始终保持最新。

然而，在责任性和透明度至关重要的应用中使用深度学习是一项挑战。这是因为深度学习中的学习模式和嵌入以神经元权重和偏置的形式隐藏在深度神经网络(也称为深度网络)中，使得导致深度学习预测的因素在没有复杂和昂贵的分析的情况下无法检索。深度网络的这种黑箱行为目前限制了深度学习在实际领域中的可用性，在这些领域中，用户需要预测以及导致预测的因素。

发明内容

提供了一种计算机实现的方法，包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于全局可解释性数据集生成神经网络模型的全局解释。

提供了一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行操作的计算机可执行指令，所述操作包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重和多个神经元偏置，以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；从在一次或多次中生成的多个相关性分数填充一个或多个相关性向量，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于一个或多个相关性向量生成神经网络模型的全局解释。

提供了一种一种计算系统，包括：一个或多个处理单元，耦合到存储器；一个或多个存储指令的计算机可读存储介质，所述指令在被执行时使得计算系统执行操作，所述操作包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于全局可解释性数据集生成神经网络模型的全局解释。

附图说明

图1是实现可解释AI(XAI)生成的示例系统的框图。

图2是实现XAI生成的示例方法的框图。

图3A-3G是示出根据一个示例的具有单输出神经网络模型的XAI模型的工作的框图。