[发明专利]一种用于深度神经网络交互信息量化的方法

权利要求书

1.一种用于深度神经网络交互信息量化的方法，用于构建量化自然语言处理任务中深度神经网络建模的单词间交互信息的树状图，其特征在于，所述方法包括：

S1、获取来自于自然语言处理领域数据集的样本，样本中包含多个单元，每个单元对应于一个单词，对样本中的单元进行多次聚合处理直至样本中的单元聚合成一个单元；

其中，每次聚合处理包括：

将当前样本输入深度神经网络，根据所述深度神经网络的输出计算当前样本中每个单元的沙普利值，其中所述深度神经网络是用于自然语言处理领域的自然语言处理任务的一个深度神经网络；

基于每个单元的沙普利值计算每两个相邻单元之间的交互增益率，将交互增益率最大的两个相邻单元聚合成一个新的单元并与当前样本中的其他单元形成新的当前样本做下一次聚合处理；

其中，两个相邻单元之间的交互增益率通过如下方式确定：

其中，[S₁]表示由集合S₁中所有的单元聚合后形成的一个单元，[S₂]表示由集合S₂中所有的单元聚合后形成的一个单元，[S₁]、[S₂]为两个相邻单元，B_between([S₁],[S₂])为两个相邻单元[S₁]、[S₂]之间的交互增益，[S₁]'为单元[S₁]被聚合前其左侧相邻的单元，[S₂]'为单元[S₂]被聚合前其右侧相邻的单元，B_between([S₁]',[S₁])为单元[S₁]'、[S₁]之间的交互增益，B_between([S₂],[S₂]')为单元[S₂]、[S₂]'之间的交互增益，与单元[S₁]、[S₂]相关的总交互信息为B_between([S₁],[S₂])、B_between([S₁]',[S₁])、B_between([S₂],[S₂]')、φ([S₁])、φ([S₂]),其中φ([S₁])、φ([S₂])分别为单元[S₁]、[S₂]的沙普利值；

S2、根据步骤S1中给定样本多次聚合处理过程中单元聚合方式构建反映深度神经网络内部建模的单词间交互信息的树状图。

2.根据权利要求1所述的一种用于深度神经网络交互信息量化的方法，其特征在于，当前样本中每个单元的沙普利值为该单元在所述当前样本中其他所有单元可能组成的集合中的边际贡献的加权平均值。

3.根据权利要求2所述的一种用于深度神经网络交互信息量化的方法，其特征在于，当前样本中每个单元的沙普利值通过如下方式确定：

其中，v表示神经网络，表示当前样本中第i个单元a_i的沙普利值，N表示当前样本中所有单元组成的集合，|N|表示集合N的大小，S表示当前样本中除第i个单元a_i以外的其他单元可能组成的集合，|S|表示集合S的大小，！表示阶乘，v(·)表示深度神经网络的输出，v(S∪{a_i})-v(S)表示第i个单元a_i给集合S带来的边际贡献，其中，v(S∪{a_i})表示在集合S中加入第i个单元a_i后形成的集合输入神经网络中得到的输出，v(S)表示由集合S输入神经网络中得到的输出。