[发明专利]基于属性驱动解耦表征学习的多模态推荐方法

权利要求书

1.一种基于属性驱动解耦表征学习的多模态推荐方法，其特征是，包括如下步骤：

1）在亚马逊评论数据集中通过预处理得到训练集和测试集；

2）对数据集的用户ID和物品ID信息进行嵌入参数初始化同时对评论和图片信息进行特征提取与转换；

3）将用户ID嵌入、物品ID嵌入、评论嵌入和图片嵌入均匀划分成一定数量的块；

4）利用属性分类器监督用户ID嵌入、物品ID嵌入、评论嵌入和图片嵌入的每一块特征向量能够预测相应的属性；

5）利用多模态对比学习来实现多模态特征的对齐和解耦；

6）利用多模态注意力机制分别计算物品ID嵌入、物品评论嵌入和物品图片嵌入相同块的特征向量在不同模态上的重要性并加权得到最终物品的一定数量的特征向量块数，利用属性值分类器监督每一块特征向量能够预测相应的属性值；

7)计算用户对物品的偏好得分；

8)利用模型总损失通过Adam优化器优化模型参数。

2.根据权利要求1所述的基于属性驱动解耦表征学习的多模态推荐方法，其特征是：所述2）包括以下步骤：

（1）数据集中包括个用户构成用户集合U，个物品构成物品集合，将用户集合U和物品集合构建交互矩阵,矩阵R中记录第个用户和第个物品之间的交互值，，当第个用户和第个物品之间存在交互时，当第个用户和第个物品之间不存在交互时；

（2）对用户ID信息进行嵌入参数初始化，生成用户ID的嵌入，是嵌入的维度；对物品ID信息进行嵌入参数初始化，生成物品ID的嵌入，是嵌入的维度；对物品评论信息使用BERT模型进行特征提取，将物品原始评论转换成特征向量，是特征向量的维度；对物品图片信息使用ViT模型进行特征提取，将物品原始图片转化成特征向量，是特征向量的维度；

（3）通过公式计算得到物品评论信息能够运用到推荐系统中的物品评论嵌入，式中表示权重矩阵，表示偏置向量，是激活函数，是嵌入维度；

（4）通过公式计算得到物品图片信息能够运用到推荐系统中的物品图片嵌入，式中表示权重矩阵，表示偏置向量，是激活函数，是嵌入的维度；

（5）物品包括四个属性信息，分别是价格、人气、品牌和分类，对于品牌和分类的属性值信息，我们直接使用亚马逊提供的数据；对于价格和人气的属性值信息，根据它们的数值将它们离散为五个级别，属性和属性值表示为one-hot编码或者multi-label编码的形式。

3.根据权利要求1所述的基于属性驱动解耦表征学习的多模态推荐方法，其特征在于：所述3）包括以下步骤：

（3.1）通过公式=，划分得到物品ID嵌入的个连续的块，式中表示特征向量划分的数量，表示物品ID对应的第个特征向量，表示特征向量维度；

（3.2）通过公式=,，划分得到物品评论嵌入的个连续的块，式中表示特征向量划分的数量，表示物品评论对应的第个特征向量，表示特征向量维度；

（3.3）通过公式=，划分得到物品图片嵌入的个连续的块，式中表示特征向量划分的数量，表示物品图片对应的第个特征向量，表示特征向量维度；

（3.4）通过公式=，划分得到用户ID嵌入的个连续的块，式中表示特征向量划分的数量，表示用户ID对应的第个特征向量，表示特征向量维度。

4.根据权利要求1所述的基于属性驱动解耦表征学习的多模态推荐方法，其特征在于：所述4）包括以下步骤：

（4.1）根据公式=计算得到物品评论嵌入的第个块对所有属性的预测分数，式中和分别表示对于物品评论的属性分类器的权重矩阵和偏置向量；

（4.2）根据公式得到物品评论嵌入的第个块对个块属性的预测与真实属性的损失函数，式中，表示物品评论嵌入的第个块的真实属性标签；

（4.3）根据公式得到物品评论嵌入个块的预测属性的整体损失；

（4.4）同理步骤（4.1）、（4.2）和（4.3）得到用户ID嵌入个块的预测属性的整体损失；

（4.5）同理步骤（4.1）、（4.2）和（4.3）得到物品ID嵌入个块的预测属性的整体损失；

（4.6）同理步骤（4.1）、（4.2）和（4.3）得到物品图片嵌入个块的预测属性的整体损失；

（4.7）根据公式得到模态内解耦的整体损失，训练每个属性因素的特征分别集中在用户ID嵌入、物品ID嵌入、物品评论嵌入和物品图片嵌入的对应块中。