[发明专利]基于状态转移的奖励值音乐推荐方法

权利要求书

1.一种基于状态转移的奖励值音乐推荐方法，其特征在于，包括以下步骤：

(1)初始化用户偏好及音乐特征向量权重；

(2)分别计算用户u个性化的song_i-1到song_i的转移概率矩阵P_u(song_i|song_i-1)和用户总体的song_i-1到song_i的转移概率矩阵P_z(song_i|song_i-1)；

(3)定义奖励函数为R＝R_s(song_i)+R_t(s_i-1,song_i)，根据R(song_i)排序，按照从大到小的顺序，将音乐集M筛减成M*并聚类；

(4)生成候选推荐列表L，其长度为X；具体包括以下步骤：

按照历史列表中训练数据的最后一首音乐所属类，检索P_u(song_i|song_i-1)和P_z(song_i|song_i-1)，在转移概率非0的簇内选择奖励值最大的音乐，作为候选推荐列表L的第一首音乐；如果用户u的历史播放列表HL长度m20，检索P_u(song_i|song_i-1)在转移概率非0的簇内选择奖励值最大的音乐，作为候选推荐列表L的第i首音乐；如果用户u的历史播放列表HL长度m≤20，检索P_z(song_i|song_i-1)在转移概率非0的簇内选择奖励值最大的音乐，作为候选推荐列表L的第i首音乐；以此类推，得到长度为X的候选推荐列表L；

(5)针对候选推荐列表L对用户偏好在线更新，得到φ_s(u)；具体包括以下步骤：

遍历候选推荐列表L：

r_i＝R_s(song_i)

其中，r_i为在当前状态下用户听完song_i产生的立即奖励，即R_s(song_i)＝φ_s(u)·β·θ_s(song_i)+α·c_u·TP(song_i)中计算得到的R_s(song_i)，为目前为止的平均奖励，定义该变量可以决定下一首音乐的选择对当前更新是否有增益，最后，模型为更新φ_s(u)分配的权值之和为1；

(6)计算候选推荐列表L中每首音乐到各个聚类中心c_j的欧式距离ο(song,c_i)；

(7)构建基于状态转移的奖励值函数：式中，φ_s(u)是用户u的个性化偏好，由用户的历史数据迭代分析而来，θ_s(song_i)是音乐song_i的特征向量，β是θ_s(song_i)每一维的权重，用来度量θ_s(song_i)每一维特征属性对奖励值的贡献度，c_u是用户u的从众度，由用户个性化自定义，TP(song_i)表示音乐song_i的流行度，α是TP(song_i)的放大因子，是个可调参数；ο(song_i,c_j)是song_i与c_j的欧氏距离，c_j指j簇的聚类中心，P_u(song_i|song_i-1)和P_z(song_i|song_i-1)分别指用户u个性化的song_i-1到song_i的转移概率和用户总体的song_i-1到song_i的转移概率；

(8)选择奖励值最大的状态序列，即为奖励值最大的推荐音乐列表L*。