[发明专利]基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备

权利要求书

1.一种基于多模态注意力的多样性偏好信息推送方法，其特征是：包括以下步骤：

对商品交易数据集进行预处理并对对应的用户评论信息和商品图片信息进行特征提取；

通过融合用户的评论信息和商品的图片信息特征得到商品的多模态表示；

将获得的商品的多模态表示、用户向量和商品向量输入到神经网络模型中，所述的神经网络模型用于计算注意力向量，最后基于注意力向量计算用户向量和商品向量之间的欧式距离来估计用户对商品的偏好程度，其中针对每个用户-商品对，选取多个用户没有购买的商品作为负例，一起加入第二损失函数进行计算，第二损失函数用于惩罚用户喜欢但是在距离计算列表中排名低于设定位的商品，依据偏好程度的排序，进行信息的推送或显示。

2.如权利要求1所述的一种基于多模态注意力的多样性偏好信息推送方法，其特征是：基于已有的商品交易信息构建基础数据集合，将基础数据集合中的一部分数据作为训练数据，另一部分数据作为测试数据。

3.如权利要求1所述的一种基于多模态注意力的多样性偏好信息推送方法，其特征是：对于基础数据集合的每种商品，将其预先分为两种模式，分别代表视觉和文本两种特征，将视觉和文本特征连接并输入全连接神经网络。

4.如权利要求1所述的一种基于多模态注意力的多样性偏好信息推送方法，其特征是：构建第一损失函数，以在特征向量距离商品i的多模态表示向量欧式空间中距离超出设定范围时，惩罚商品i的特征向量。

5.如权利要求1所述的一种基于多模态注意力的多样性偏好信息推送方法，其特征是：将用户特征向量、商品特征向量和多模态表示向量输入到注意力机制模块中学习用户对目标商品不同方面/维度的向量分布，输出注意力向量。

6.如权利要求4所述的一种基于多模态注意力的多样性偏好信息推送方法，其特征是：基于得到的注意力向量，将用户和商品映射到新的向量空间后，计算两者之间的欧式距离。

7.如权利要求6所述的一种基于多模态注意力的多样性偏好信息推送方法，其特征是：定义第三损失函数进行特征空间中各维度的协方差正则化，综合第一、第二和第三损失函数，得到偏好程度模型。

8.一种基于多模态注意力的多样性偏好信息推送系统，其特征是：包括：

特征提取模块，被配置为对商品交易数据集进行预处理并对对应的用户评论信息和商品图片信息进行特征提取；

多模态模块，被配置为通过融合用户的评论信息和商品的图片信息特征得到商品的多模态表示；

推送模块，被配置为将获得的商品的多模态表示、用户向量和商品向量输入到神经网络模型中，神经网络模型用于计算注意力向量，最后基于注意力向量计算用户向量和商品向量之间的欧式距离来估计用户对商品的偏好程度，其中针对每个用户-商品对，选取多个用户没有购买的商品作为负例，一起加入第二损失函数进行计算，第二损失函数用于惩罚用户喜欢但是在距离计算列表中排名低于设定位的商品，依据偏好程度的排序，进行信息的推送或显示。

9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行如权利要求1-7任一项所述的一种基于多模态注意力的多样性偏好信息推送方法。

10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一项所述的一种基于多模态注意力的多样性偏好信息推送方法。