[发明专利]量化神经网络中多个输入变量之间相互作用的方法及应用

说明书

本发明涉及一种量化神经网络中多个输入变量之间相互作用的方法及应用，属于深度学习技术领域，包括：给定预训练的神经网络和一个输入样本，选定输入样本中将用于计算相互作用的若干输入变量；通过训练得到对所述输入变量的两种划分，所述划分将所述输入变量划分为多个联盟，根据网络输出计算各个联盟的沙普利值；两种划分得到的沙普利值之和的差反映了输入变量之间的相互作用。本发明能够用在情感语义分析任务中，分析输入单词间的相互作用。还能够应用在图像识别任务中，分析输入像素间的相互作用。

本申请是名为《一种量化神经网络中多个输入变量之间相互作用的方法》的专利申请的分案申请，原申请的申请日为2020年09月16日，申请号为202010976211.4。

技术领域

本发明涉及深度学习领域，具体涉及一种量化神经网络中多个输入变量之间相互作用的方法及应用。

背景技术

近年来，神经网络在多个领域都取得了优秀的表现，然而，神经网络也常常由于其黑盒特性而受到诟病。因此，解释神经网络内部的特征表达与建模逐渐成为了人们关注的热点。

现有的解释神经网络的技术中，有一大方向是研究神经网络所建模的输入变量之间的相互作用关系。然而，现有技术主要关注两个输入变量之间的相互作用，忽略了多个变量之间的相互作用。量化多个变量之间的相互作用，对于理解神经网络的特征建模具有重要作用。

发明内容

针对目前神经网络的黑箱性质，本发明的目的是提供一种量化神经网络中多个输入变量之间相互作用的方法及应用，可以帮助人们理解输入变量之间的关系，并提取出神经网络建模的原型特征，从而起到解释神经网络特征建模的作用。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供一种量化神经网络中多个输入变量之间相互作用的方法，所述方法包括：

给定预训练的神经网络和一个输入样本，选定所述输入样本中用于计算相互作用的若干输入变量；

通过训练，得到对所述输入变量的两种划分，每种所述划分将所述输入变量划分为多个联盟，根据网络输出计算各个联盟的沙普利值；所述沙普利值能够根据每个成员在一场游戏中的贡献，公平地为每个成员分配一个奖励值；

两种划分得到的沙普利值之和的差反映了所述输入变量之间的相互作用。

可选地，所述根据网络输出计算各个联盟的沙普利值，具体包括：

令集合N＝{1，2，……,n}表示所有成员组成的集合，为获得更高的奖励，成员会组成一个联盟S参与游戏v，联盟S能够得到的奖励值为v(S)，若成员i加入联盟S，则成员i为联盟S带来的边际奖励值为v(S∪{i})-v(S)，成员i的沙普利值的计算公式为：

其中，表示成员i的沙普利值，|S|表示集合S中成员的个数。

可选地，所述输入变量之间的相互作用的大小的计算公式为：

其中，T([A])表示输入变量之间的相互作用大小，Ω表示一个划分，C为由划分Ω所得到的一个联盟，B_max([A])为所有可能的划分中各个联盟沙普利值之和最大值，B_min([A])为所有可能的划分中各个联盟沙普利值之和最小值，表示将联盟C看作一个单独的成员[C]时该成员[C]的沙普利值。

可选地，所述联盟包含大于等于一个输入变量，在计算沙普利值时，将每一个联盟视作一个不可分割的整体。

可选地，根据所述网络输出计算沙普利值，所述沙普利值为标量。

可选地，所述沙普利值之和最大或最小的划分，用于提取网络建模的原型特征。