[发明专利]用于神经网络的全局解释的方法和系统

权利要求书

1.一种计算机实现的方法，包括：

接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；

响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；

生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及

基于全局可解释性数据集生成神经网络模型的全局解释。

2.根据权利要求1所述的方法，其中层序列包括多个隐藏层和最后层，其中多个隐藏层的最后隐藏层在最后层之前，其中多个隐藏层的第一隐藏层在输入层之后，并且其中层序列以从最后层到第一隐藏层的相反的方向被遍历。

3.根据权利要求2所述的方法，其中生成多个相关性分数包括基于最后层中的神经元权重和最后隐藏层中的神经元偏置来在最后层处计算一个或多个相关性分数。

4.根据权利要求3所述的方法，其中在最后层计算的每个相关性分数是权重项和偏置项的线性组合，其中权重项包括最后层中的将最后隐藏层中的选择神经元连接到最后层中的选择神经元的神经元权重，并且其中偏置项包括连接到最后隐藏层中的选择神经元的神经元偏置。

5.根据权利要求3所述的方法，其中生成多个相关性分数还包括在多个隐藏层处计算一个或多个相关性分数，其中基于隐藏层中的每个隐藏层中的神经元权重、隐藏层中的每个隐藏层之后的较高层中的相关性分数以及隐藏层中的每个隐藏层之前的较低层中的神经元偏置，在隐藏层中的每个隐藏层处计算一个或多个相关性分数。

6.根据权利要求5所述的方法，其中在隐藏层中的每个隐藏层处计算的每个相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。

7.根据权利要求5所述的方法，还包括在隐藏层中的每个隐藏层处计算相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处计算的相关性分数。

8.根据权利要求5所述的方法，其中一个或多个相关性向量中的每个相关性向量都用在遍历层序列的对应时间期间在第一隐藏层处计算的一个或多个相关性分数填充。

9.根据权利要求2所述的方法，其中最后层包括单个神经元，其中对应于单个神经元一次遍历层序列，并且其中用在遍历层序列的一次期间生成的多个相关性分数的子集来填充一个相关性向量。

10.根据权利要求2所述的方法，其中最后层包括多个神经元，其中对应于多个神经元多次遍历层序列，并且其中全局可解释性数据集包括对应于最后层中的多个神经元的多个相关性向量。

11.根据权利要求10所述的方法，其中用在遍历层序列的对应时间期间生成的多个相关性分数的子集来填充多个相关性向量中的每个相关性向量。

12.根据权利要求1所述的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括至少部分基于全局解释来重新训练神经网络模型。

13.根据权利要求1所述的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括接收对全局解释的修改，并且至少部分基于对全局解释的修改来重新训练神经网络模型。