[发明专利]一种基于潜在狄利克雷分配模型的潜在特征提取方法

说明书

技术领域

本发明涉及一种用于推荐系统的特征提取方法。

背景技术

随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己需要的商品。这种浏览大量无关信息和产品的过程，无疑会使消费者淹没在信息过载问题中，从而不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐是根据用户的特点和行为，向用户推荐其感兴趣的信息和商品。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。

目前，推荐系统有着非常广泛的应用，除了亚马逊，淘宝等电商网站，如今日头条的新闻推荐，云 OS的手机app推荐，网易云音乐的音乐推荐，以及其他很多应用场景中，都使用到了推荐系统。

个性化推荐系统中，当用户到来之后，推荐系统需要为用户生成特征，然后对每个特征找到有相似特征的物品，从而最终生成用户的推荐列表。因而，推荐系统的核心任务就被拆分成两部分，一个是如何为给定的用户生成特征，另一个是如何提取出已知商品的特征，进而实现用户与商品的特征匹配，完成推荐。

发明内容

本发明提供一种用于推荐系统的特征提取方法。本发明将潜在狄利克雷分配模型运用到推荐算法中，将用户对商品所打的标签、购买记录构成商品的向量，进而运用潜在狄利克雷分配模型提取商品的潜在特征。技术方案如下：

一种基于潜在狄利克雷分配模型的隐特征提取方法，包括下列步骤：

(1)选取一段时间内用户对商品的评分，以及这些用户对这些商品的标签，用户好友关系信息和用户的自身特性作为数据集；

(2)从数据集提取出不同用户对同一商品的标签置于同一商品下，并且按商品热度由零开始将数据集重新排列，重新定义商品ID；

(3)随机地为潜在狄利克雷分配模型向量θ_d和赋初始值，参数θ_d的含义为标签集合中的每个标签集合d，对应不同潜在特征的概率θ_d<p_t1,p_t2,...p_ti,...p_t25>，其中，p_ti表示d对应潜在特征集T中第i 个潜在特征的概率，参数的含义为对每个潜在特征集T中的潜在特征t，生成不同标签的概率其中，p_wi表示t第i个标签的概率；

(4)针对一个特定商品的标签集合d_s中的第i个标签w_i，令该标签对应的潜在特征为t_j，得到标签集合的中出现标签w_i的概率；

(5)枚举T中的潜在特征，得到所有的p_j(w_j|d_s)，即在标签集合d_s中出现第j个标签w_j的概率；然后可以根据这些概率值结果，取令p_j(w_i|d_s)最大的t_j为d_s中的第i个标签w_i为其潜在特征；

(6)如果d_s中的第i个标签w_j此时选择了一个与原先不同的潜在特征，根据向量θ_d和的计算公式，会对θ_d和产生反馈，更新参数,迭代公式如下：

然后将θ_d与带入Gibbs Sampling公式中，通过求解出主题分布和词分布的后验分布，从而成功解决主题分布和词分布这两参数未知的问题，完成一次迭代；

其中，α_k与β_t分别为未知的主题分布超参数和词分布超参数,Gibbs Sampling；

(7)重复执行(4)-(6)步骤，对每个标签按照Gibbs Sampling公式重新采样得到潜在特征，在标签库中更新，直到Gibbs Sampling输出收敛，此收敛值即为潜在狄利克雷分配模型的最终输出值。