[发明专利]基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备

说明书

本公开提供了一种基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备，本公开对商品交易数据集进行预处理并对对应的用户评论信息和商品图片信息进行特征提取；通过融合用户的评论信息和商品的图片信息特征得到商品的多模态表示；将获得的商品的多模态表示、用户向量和商品向量输入到神经网络模型中，最后通过计算用户向量和商品向量之间的欧式距离来估计用户对商品的偏好程度，依据偏好程度的排序，进行信息的推送或显示；本公开利用多模态信息提升了模型的推荐效果，通过注意力机制解决了用户偏好的多样性问题。

技术领域

本公开属于信息智能化处理方法，具体涉及一种基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着大数据和网络智能化普及，针对不同商品的多样性偏好研究备受重视。研究成果可以分为两类：一类方法是利用用户评论信息分析每个用户在目标商品不同方面的注意程度,然后将表示注意程度的权重整合入基于矩阵分解的推荐算法；另一类方法是通过对目标商品影响最大的用户或者商品选取用户向量或者商品向量。这两种方法都是基于矩阵分解的框架通过点积计算来估计用户和商品间的相似度，而点积计算具有较大的局限性，且计算量较大。

度量学习的基本原理是根据不同的任务来自主学习出针对某个特定任务的度量距离函数。在推荐算法中，度量学习可以解决利用向量点积计算用户与商品之间的相似度不符合三角不等式关系问题。但是度量学习在应用到多样性偏好信息的提取和推荐上有一定的难度，主要问题在以下几个方面：

(1)每个用户对不同的商品的偏好程度是不同的，同时对不同商品的不同方面关注程度也不同；如何针对不同的用户-商品对，学习出不同的用户偏好权重向量，将固定的用户和商品向量变成动态用户和商品向量非常具有挑战。

(2)在用户多样性偏好的学习过程中，针对每一个用户-商品对都会学到一个用户偏好权重向量。在使用一般注意力机制模块去学习用户偏好权重向量的情况下，针对每一个用户-商品对，将得到一个和为1的向量来表示当前用户对目标商品在不同维度的偏好分布，如果向量长度为100维的话，那么每个维度都会得到一个小于1的极小值，将极小值向量直接引入度量学习模型，将导致模型效果变差。

(3)与使用多模态信息进行用户偏好建模的深度模型相比，度量学习模型通过计算用户向量和商品向量之间的欧式距离来建模；如何将多模态信息融入到度量学习模型从而提升推荐算法的性能在技术上非常有挑战性。

发明内容

本公开为了解决上述问题，提出了一种基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备，本公开通过构建一个多模态的基于注意力机制的度量学习模型来对用户的多样性偏好进行建模。它一方面利用多模态信息提升了模型的推荐效果；另一方面通过注意力机制解决了用户偏好的多样性问题。

根据一些实施例，本公开采用如下技术方案：

一种基于多模态注意力的多样性偏好信息推送方法，包括以下步骤：

对商品交易数据集进行预处理并对对应的用户评论信息和商品图片信息进行特征提取；

通过融合用户的评论信息和商品的图片信息特征得到商品的多模态表示；

将获得的商品的多模态表示、用户向量和商品向量输入到神经网络模型中，最后通过计算用户向量和商品向量之间的欧式距离来估计用户对商品的偏好程度，依据偏好程度的排序，进行信息的推送或显示。

作为一种可选择的实施例，基于已有的商品交易信息构建基础数据集合，将基础数据集合中的一部分数据作为训练数据，另一部分数据作为测试数据。

作为一种可选择的实施例，对于基础数据集合的每种商品，将其预先分为两种模式，分别代表视觉和文本两种特征，将视觉和文本特征连接并输入全连接神经网络。