[发明专利]融合注意力机制的个性化搜索方法和搜索系统

权利要求书

1.融合注意力机制的个性化搜索方法，其特征在于，包括：

步骤1、收集并获取用户u生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

步骤2、将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D；D中的项目构成集合S，S＝{(u,x_i,C_i,T_i,G_i)}，其中x_i∈D，C_i为项目x_i的类别标签向量，T_i为用户对项目x_i文本评论的向量化表示，G_i为项目x_i的图像特征向量化表示，i＝1,2,…,|D|，|D|表示D中的项目数量；

步骤3、构建融合注意力机制的用户偏好感知模型，所述模型基于深度置信网络，由三层受限玻尔兹曼机组成，其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；h₁作为可见层，与隐藏层h₂构成第二层受限玻尔兹曼机；h₂作为可见层，与隐藏层h₃构成第三层受限玻尔兹曼机；所述融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}；

利用优势项目群体D，采用对比散度学习算法对融合注意力机制的用户偏好感知模型中的第一层受限玻尔兹曼机进行训练，获得其模型参数θ₁＝{w₁,a₁,b₁}；

第一层RBM模型训练完成后，当给定隐单元状态时，各可见单元的激活状态条件独立，某项目x_i的向量表示[C_i,T_i,G_i]输入可见层，其第一组、第二组和第三组可见单元的激活概率分别为：

其中，a_1,j、a_1,k和a_1,l分别表示第一组、第二组和第三组可见单元偏置；

计算各类多源异构数据的信息熵，项目类别标签的信息熵为：

文本评论向量的信息熵为：

项目图像特征向量的信息熵为：

其中c_ij表示项目x_i的类别标签向量C_i的第j个元素，p(c_ij)表示RBM1中对应于项目类别标签向量表示的第j个元素的可见单元激活概率；

t_ik表示用户u对项目x_i文本评论向量化表示T_i的第k个元素，p(t_ik)表示RBM1中对应于用户文本评论向量表示的第k个元素的可见单元激活概率；

g_il表示，p(g_il)表示项目x_i的图像特征向量化表示G_i的第l个元素，p(g_il)表示RBM1中对应于项目图像特征向量表示的第l个元素的可见单元激活概率；

其次，计算各类信息熵占总信息熵的比例作为权重因子：

其中H(x_i)＝H(C_i)+H(T_i)+H(G_i)；

将向量C_i、T_i、G_i组合构成项目x_i的决策向量Ψ_i输入v₁、v₂、v₃中各可见单元时，隐藏层h₁中各隐单元的激活状态条件独立，第m₁个隐单元的激活概率为：

其中，m₁＝1,2,…,M₁，为h₁中第m₁个隐单元的偏置；v_1j为RMB1第一组可见单元v₁中第j个可见单元的状态；v_2k为RMB1第二组可见单元v₂中第k个可见单元的状态；v_3lRMB1第三组可见单元v₃中第l个可见单元的状态；为w₁中的元素值，表示RBM1中第n个可见单元与第m₁个隐单元之间的连接权重，n＝1,2,…,Φ；表示隐层h₁中第m₁个隐单元的状态；σ(x)＝1/(1+exp(-x))是sigmoid激活函数；

RBM1训练完成后，根据式(9)获取项目x_i对应的各隐单元的状态，进而获得用户对于优势项目群体D中各项目的各决策分量的偏好程度，即可见层单元激活概率，作为注意力权重系数at_n(x_i)：

其中表示Ψ_i作为RBM1可见层各可见单元状态时，隐藏层h₁中第m₁个隐单元的状态；at_n(x_i)表示项目x_i各决策分量ψ_in的注意力权重；

将注意力权重系数at_n(x_i)作为项目x_i各决策分量的权重系数，对优势项目群体D中项目x_i进行基于注意力机制的编码，编码后表示为x_ati：

x_ati＝Ψ_i+at_n(x_i)×Ψ_i (12)

将x_ati输入预训练后的RBM1，得到可见单元激活概率V_RBM1(x_ati)：

其中x_atn′为x_ati的第n′个元素；

由RBM1可见单元激活概率V_RBM1(x_ati)进行自注意力机制运算，动态学习项目个体的用户偏好注意力权重向量A(x_ati)：

A(x_ati)＝softmax(a(V_RBM1(x_ati),w₁)) (14)

其中，softmax()函数保证所有权重系数之和为1；函数a(V_RBM1(x_ati),w₁)衡量了项目x_i相对于用户偏好特征的注意力权重系数，计算如下：

a(V_RBM1(x_ati),w₁)＝V_RBM1(x_ati)·(w₁)^T (15)

结合用户偏好注意力权重向量A(x_ati)和项目x_i的原始决策向量C_i,T_i,G_i，生成融合注意力机制的项目决策向量：

x_i′＝A(x_ati)×Ψ_i (16)

利用融合注意力机制的项目决策向量x_i′构成训练集，对DBN中的RBM1、RBM2、RBM3模型进行逐层训练，训练完成后获得融合注意力机制的基于深度置信网络的用户偏好感知模型及其优化模型参数θ；

步骤4、根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户对于项目的第n个决策分量的偏好概率；

步骤5、设定种群大小N，利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法生成N个新个体，每个个体为一个项目；第v个新个体的类别标签向量的设置步骤如下：

(5.1)令v＝1；

(5.2)生成[0,1]之间的随机数z；如果z≤P(ψ_j＝1)，则第v个新个体的类别标签向量的第j个元素为1，否则为0；

(5.3)令v加一，重复步骤(5.2)，直至vN；

步骤6、在搜索空间中选择与N个新个体类别标签向量相似度最高的N个项目，构成待推荐项目集合S^u；

步骤7、计算待推荐项目集合S^u中各项目的适应值

其中，和分别表示待推荐项目集合S^u中项目能量函数的最大值和最小值；为项目x^*的能量函数，x^*∈S^u，其计算如下：

其中为项目x^*的第n个决策分量；

步骤8、选择S^u中适应值最高的前TopN个项目作为搜索结果，TopNN；

随着用户交互式搜索过程的推进和用户行为动态演变，根据当前用户最近的评价数据，更新优势项目群体D，再次训练融合注意力机制的用户偏好感知模型，动态更新提取的用户偏好特征，同时，更新基于用户偏好的分布估计概率模型P(x)。