[发明专利]一种基于因子分解机的神经注意力机制手机应用推荐模型

说明书

本发明属于电子商务技术领域，涉及一种融合注意力机制的神经网络手机应用推荐模型。当前互联网应用程序的许多预测性任务需要建模分类变量，比如为用户进行手机应用的推荐。为了应用标准的机器学习技术，这些预测模型总是通过独热编码方法转换成一组二进制特征，使得合成的特征向量高度稀疏。要从这些稀疏的数据中学习有效信息，对特征之间的相互作用进行提取是至关重要的。本发明的目的是提供一种新的手机应用推荐模型，该模型基于神经网络和注意力机制，提高和深化了因子分解机模型，设计新型模型结构，解决了因子分解机模型只能捕获二阶特征交互以及对所有的特征交互采用相同权重的问题，本发明也适用于一般的推荐系统。

技术领域

本发明属于电子商务技术领域，涉及一种融合注意力机制的神经网络手机应用推荐模型。

背景技术

互联网应用程序的许多预测性任务需要建模分类变量，比如为用户进行手机应用的推荐。为了应用标准的机器学习技术，这些预测模型总是通过独热编码方法转换成一组二进制特征，使得合成的特征向量高度稀疏。要从这些稀疏的数据中学习有效信息，对特征之间的相互作用进行提取是至关重要的。研究发现，人们通常在吃饭的时间段下载送餐的应用，这可以看出，应用的类别和时间戳的二阶交互可以看作手机应用推荐的信号。而因子分解机是一个较为流行的提取特征交互的方式，以线性的方式提取特征间的交互，但是由于其复杂度，通常只考虑到二阶的特征交互，无法捕获高阶的特征交互，此外，因子分解机对所有的特征交互都采用相同的权重，即对于不同的预测结果特征的重要程度都相同，这很有可能引入噪声，并对推荐性能造成不利影响。近几年，深度神经网络在工业领域应用十分广泛，用于非线性特征交互的学习，取得了不错的成果，但是模型结构复杂，优化较为困难。本发明对上述弊端进行改进，从而提高手机应用的推荐效果。

发明内容

本发明的目的是提供一种新的手机应用推荐模型，该模型基于神经网络和注意力机制，提高和深化了因子分解机模型，解决了因子分解机模型只能捕获二阶特征交互以及对所有的特征交互采用相同权重的问题，本发明也适用于一般的推荐系统。

本发明所采用的技术方案是：

首先是数据的获取。我们采用Frappe手机网站中用户使用手机应用的数据集，该数据集包括了96203个用户在不同上下文下的应用使用日志，每个日志包括用户id、应用id以及 8个上下文特征(例如天气、地点等)，我们将每个日志进行独热编码最终得到5382个特征向量，如果用户使用了系统推荐的应用，则标记为1。

其次是对于推荐模型的设计。所设计的推荐模型包括三部分：特征提取部分、注意力部分以及预测部分。特征提取部分包括一个输入层、嵌入层以及特征提取层；注意力部分包括注意力网络；预测部分包括池化操作、全连接层以及预测层。

特征提取部分的输入是稀疏向量。对于我们设计的手机应用推荐来讲，系统获得的数据是较为稀疏的，我们对每个日志进行独热编码，得到了5382个非零特征向量，然后，将每个非零特征传输到嵌入层中形成稠密向量，并在特征交互层执行特征交互操作。注意力部分包含一个注意力层，该层考虑了预测中不同特征交互的重要性。直到注意力层，该模型只能捕获一阶和二阶特征的交互。捕获的低阶特征交互将通过预测层的池化操作作为最终结果的一部分。现如今，人们已经被大量丰富的信息所淹没，数据形式多种多样，商家希望综合考虑多方面的信息从而为用户做出精准的手机应用推荐。因此，高阶特征的交互同样十分重要。为了能够学习复杂的高阶特征交互作用，我们在注意力层之上堆叠了一个全连接层，使用非线性激活函数以允许模型执行非线性建模。该模型可以同时捕获低阶和高阶特征交互。本专利设计的推荐模型可以表示为：