[发明专利]一种用于深度神经网络交互信息量化的方法

说明书

本发明提供一种用于深度神经网络交互信息量化的方法，所述方法包括：S1、获取来自于自然语言处理领域数据集的样本，样本中包含多个单元，每个单元对应于一个单词，对样本中的单元进行多次聚合处理直至样本中的单元聚合成一个单元；S2、根据步骤S1中给定样本多次聚合处理过程中单元聚合方式构建反映深度神经网络内部建模的单词间交互信息的树状图。本发明方法可以客观地量化深度神经网络内部建模的输入样本单词间的交互信息，并且根据交互信息比率的大小，对具有显著交互作用的相邻单元进行聚类，最终得到一棵反映深度神经网络内部建模的单词间交互信息的树状层次结构，为进一步理解深度神经网络提供了一种通用的方法。

技术领域

本发明涉及深度学习技术领域，具体来说涉及深度神经网络在自然语言处理领域中的应用，更具体地说，涉及一种用于深度神经网络交互信息量化的方法。

背景技术

目前，深度神经网络(deep neural network)在自然语言处理的多种任务上表现出优秀的建模能力，但是深度神经网络通常被认为是一种黑箱模型，其内部建模逻辑是不可见的，该特性成为对其最终决策结果的准确性和可靠性进行有效评估的盲点，因此，解释神经网络内部建模逻辑已经成为一个重要的研究方向。尤其是在自然语言处理领域，神经网络建模了输入单词间的哪些交互信息仍然是不透明的，因此，解耦和量化深度神经网络建模的输入句子中各个单词之间的交互信息，对理解神经网络的内在逻辑和决策机制有重要作用。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的用于理解深度神经网络内在逻辑的深度神经网络交互信息量化的方法。

本发明的一种用于深度神经网络交互信息量化的方法，用于构建量化自然语言处理任务中深度神经网络建模的单词间交互信息的树状图，所述方法包括：

S1、获取来自于自然语言处理领域数据集的样本，样本中包含多个单元，每个单元对应于一个单词，对样本中的单元进行多次聚合处理直至样本中的单元聚合成一个单元；其中，每次聚合处理包括：将当前样本输入深度神经网络，根据所述深度神经网络的输出计算当前样本中每个单元的沙普利值，其中所述深度神经网络是用于自然语言处理领域的自然语言处理任务的一个深度神经网络；基于每个单元的沙普利值计算每两个相邻单元之间的交互增益率，将交互增益率最大的两个相邻单元聚合成一个新的单元并与当前样本中的其他单元形成新的当前样本做下一次聚合处理；

S2、根据步骤S1中给定样本多次聚合处理过程中单元聚合方式构建反映深度神经网络内部建模的单词间交互信息的树状图。优选的，通过如下方式构建二叉树：S31、用样本中的所有单元组成二叉树自底向上的第一层叶子节点；S32、按照聚合顺序，将每次聚合后形成的新的单元作为聚合前两个相邻单元的父节点，直至形成树的根节点。

其中，当前样本中每个单元的沙普利值为该单元在所述当前样本中其他所有单元可能组成的集合中的边际贡献的加权平均值。当前样本中每个单元的沙普利值通过如下方式确定：

其中，v表示神经网络，表示当前样本中第i个单元a_i的沙普利值，N表示当前样本中所有单元组成的集合，|N|表示集合N的大小，S表示当前样本中除第i个单元a_i以外的其他单元可能组成的集合，|S|表示集合S的大小，！表示阶乘，v(·)表示深度神经网络的输出，v(S∪{a_i})-v(S)表示第i个单元a_i给集合S带来的边际贡献，其中，v(S∪{a_i})表示在集合S中加入第i个单元a_i后形成的集合输入神经网络中得到的输出，v(S)表示由集合S输入神经网络中得到的输出。

其中，两个相邻单元之间的交互增益率为该两个相邻单元的交互增益占与这两个单元有交互作用的所有交互信息的比率。

优选的，两个相邻单元之间的交互增益率通过如下方式确定：