[发明专利]一种基于双通道信息融合的图神经网络会话推荐方法

权利要求书

1.一种基于双通道信息融合的图神经网络会话推荐方法，用在会话序列的下一项推荐中，其特征在于：

步骤1：数据预处理和数据增强。具体来说，长度为1的会话和出现次数少于5次的条目在所有三个数据集中都被过滤了。此外，还对数据进行增强。对于一个会话序列S＝{v_s，1，v_s，2，...，v_s，n}，将其分割处理成序列和相应的标签，即([v_s，1]，v_s，2)，([v_s，1，v_s，2]，v_s，3)，...，([v_s，1，v_s，2，...，v_s，n-1]，v_s，n)。

步骤2：会话图和全局图的构造，将其他类型的数据转换成图是图神经网络必不可少的一步。在这里将会话序列转换成会话图和全局图。其具体构建过程包含步骤2.1和2.

步骤2.1：构建会话图，包括顺序图和逆序图的构造。对于一个会话序列可以将其建模成一个有向图G_s＝(V_s，E_s)，其中V_s表示会话S中的节点，E_s代表会话S中边的集合，每条边表示为会话中两个相邻时间点点击的项目。以会话[v₁，v₂，v₄，v₃，v₂，v₃]为例，介绍如何将每个会话序列建模成两个有向图：一个逆序图和一个顺序图。对于逆序图，首先将序列翻转即变成[v₃，v₂，v₃，v₄，v₂，v₁]，然后为每个项目添加一条自连接边，并将边分成四种类型，分别为e_in，e_out，e_in-out，e_self。e_in表示输入边，e_out表示输出边，，即一条从v_i到v_j的单向边，e_in-out表示双向边，即两个项目之间的转导是双向的。e_self表示自连接。对于顺序图，将边划分成输入边和输出边，并且分配一个归一化的权重，它的计算方法是该边的出现次数除以该边的起始节点的出度。

步骤2.2：全局图构造。由于会话图只能提取当前会话内的项目转导信息，为了能够更好的提取项目的转导关系，构建全局图来利用所有会话中的项转换提取全局信息，提高模型的泛化性。G_g＝(V_g，ε_g)表示全局图，V_g表示构成全局图的节点即为V中的所有项目，ε_g代表所有会话序列中相邻项构成的边，用邻居项在所有会话的出现频率作为相应边的权值。出于效率考虑，对于每个项目只保留边权重最高的N条边。

步骤3：构建转导信息增强门控图神经网络的会话推荐模型模型。详细的网络模型构建分为三个步骤，其具体构建过程在步骤3.1、3.2和步骤3.3进行说明：

步骤3.1：构建全局信息增强会话表示学习层，包括构建局部项目表示学习模块、全局项目表示学习模块和会话表示生成模块。这三个模块的具体实现细节在步骤3.1.1、3.1.2和3.1.3进行详细说明：

步骤3.1.1：构建局部项目表示学习模块。利用图注意力网络来学习局部项目表示，利用注意力机制聚合邻居，以学习不同邻居节点的重要性。通过元素积和非线性转换来计算和之间的注意力分数α_ij，对于不同的关系，训练不同的权重向量，即a_in，a_out，a_in-out，a_self。为了使不同节点之间的系数具有可比性，通过softmax函数将注意力权重进行标准化：

在该公式中，是和之间的关系r的权重向量，在这里使用LeakyRelu作为激活函数，是v_i的一阶邻居。接下来，根据之前计算得到的注意力分数对特征进行线性组合来获得每个节点的输出特征：

步骤3.1.2：构建全局项目表示学习模块。利用图注意力网络的思想，根据每个连接的重要性来生成注意力权重。采用注意力机制区分当前项的不同邻居的重要性。在这里，全局项目表示学习模块由两个组件组成：信息传播和信息聚合。

信息传播：一个项目可能涉及到多个项目，从其他会话序列中获得更丰富的项目转换信息来帮助预测当前会话的兴趣。由于不同的邻居项有不同的重要性，所以考虑利用会话感知的注意力分数来区分当前项的邻居(N_ε(v))的重要性。因此，当前项的邻居N_ε(v)根据会话感知的注意力分数线性组合。

其中π(v_i，v_j)估计不同邻居的重要性权重，采用softmax函数对其进行归一化。直观地说，一个项目越接近当前会话的偏好，这个项目就越接近用户的兴趣。因此，实现π(v_i，v_j)如下：

这里选择LeakyRelu作为激活函数，⊙表示元素乘积，||表示级联操作，w_ij∈R¹是全局图中边(v_i，v_j)的权值，W₁∈R^d+1和q₁∈R^d+1是可训练参数，s是当前会话的项目表示的平均值，

借助当前会话的项目表示的均值来计算相关项的重要性权重，这意味着跟当前会话更相似的邻居将拥有更重要的地位。

信息聚合：最终需要聚合项目表示h_v和它的邻居实现聚合函数如下：

在这里，将Relu作为激活函数，W₂∈R^d×2d是可训练参数，||表示拼接操作。

通过单一的聚合器层，项的表示依赖于它自己和它的近邻。可以从一层扩展到多层以获取高阶连接信息。这使得来自其他会话的更多有用信息合并到当前表示中。通过单一层的信息传播和信息聚合，将项目本身及其邻居的表示聚合起来形成新的项目表示。在第k步，将一个项目的嵌入表示为：

代表项目v在第k-1步的项目表示，被设置为h_v的初始嵌入。因此，项目的k阶表示是它的初始表示以及它的k阶邻居的聚合，这样使更多更有效的信息被聚合到当前会话中。

步骤3.1.3：构建会话表示生成模块。对于会话序列中的每一项，通过合并全局上下文和会话上下文来获得它的表示，把全局级项目表示和会话级项目表示相加来得到最终的项目表示。

分别在全局级表示和会话级表示上使用dropout来防止过拟合。

现在提出如根据上述学到的项目表示何获得会话表示。根据上述学到的项目表示来学习会话表示用于推荐。将会话序列输入到图神经网络后，可以得到会话中涉及的项目的表示，即1是会话序列的长度。引用反向位置编码来保留会话的位置信息。直观的说，越靠近最后一项的项目，越能代表用户的当前兴趣。位置嵌入对应一个可学习的位置嵌入矩阵它们被添加到项目表示以获得最终的项目表示，l表示当前会话序列的长度。具体的说，把位置嵌入与会话序列中的项目嵌入拼接起来，再经过特征变换和非线性激活函数tanh得到最终结果：

在这里W₃∈R^d×2d和b∈R^d是可训练参数，||表示拼接操作。

以前的大多数方法都集中在会话最后一项的重要性上，这间接影响了其他项对当前项的贡献。通过会话序列中项目的平均值来得到会话信息，

然后采用一种软注意力机制来计算权重，

W₄，W₅∈R^d×d是可训练参数。

最后，会话表示由项目表示的线性连接形成，

会话表示S由当前会话中涉及到的所有项构成，其中每个项的贡献由当前会话中的信息和会话序列中的先后顺序共同决定。

步骤3.2：构建转导信息增强会话表示学习层，包括构建项目表示学习模块和生成会话表示模块。这两个模块的构建细节在步骤3.2.1和3.2.2进行详细说明：

步骤3.2.1：构建项目表示学习模块。门控图卷积网络(GGNN)已经被广泛应用于基于会话的推荐中，并取得了显著效果。因此，使用GGNN来学习会话序列的项目转导关系，对于图上的节点v_i，其更新函数如下所示：

H∈R^d×2d是权重系数，z_s，i和r_s，i分别是更新门和重置门，是会话S中加入位置编码后的节点嵌入列表，⊙表示元素乘积，σ表示sigmoid激活函数。A_s∈R^n×2n是图的邻接矩阵，A_s，i：∈R^1×2n是节点v_s，i在邻接矩阵A_s中对应的两列。

对于每个会话图，门控图神经网络同时处理节点。在矩阵A_s的约束下，进行不同节点间的信息传播。具体来说，它提取邻域的潜在向量，并将它们作为输入，输入到图神经网络。然后由更新门和重置门两个门分别决定哪些信息需要保留，哪些信息需要丢弃。更新门用于控制前一时刻的状态信息被带入到当前状态的程度。重置门决定如何将新的信息与之前的记忆相结合，从而捕捉时间序列中的短期依赖关系。在此之后，根据前一个状态、当前状态和复位门构造候选状态。最后利用更新门来将前一时刻的状态和候选状态结合起来得到最终状态。更新会话图中的所有节点直到收敛，就可以得到最终的节点向量。

步骤3.2.2：构建生成会话表示模块。不同于之前的利用会话序列最后一项作为用户的当前兴趣并使用软注意力机制生成会话嵌入方法，直接采用均值聚合的方式来形成会话嵌入。

步骤3.3：构建预测层。在步骤3.1和步骤3.2的计算得到的会话表示的基础上，根据每个候选条目的初始嵌入和当前会话表示，首先使用点积，然后应用softmax函数得到输出

式中表示项目v_i在当前会话中作为下一次点击的概率，是所有项目在下一次被点击的概率。通过将会话嵌入S_g和S_t输入到预测层，可以得到两个概率向量和之后使用一个超参数k将两个概率向量相加：

损失函数被定义为预测结果的交叉熵：

式中y表示项目真实值的one-hot编码向量。

步骤4：项目推荐。根据会话推荐模型得到的最终预测概率来进行top-k项目推荐。