[发明专利]一种基于向量表征和长短时记忆网络的音乐重复收听行为预测方法

权利要求书

1.一种基于向量表征和长短时记忆网络的音乐重复收听行为预测方法，其特征在于，包括如下步骤：

步骤一、数据预处理得到用户收听音乐的时间序列和音乐字典：

根据时间顺序抽取用户收听音乐的历史数据{music₁，music₂，...，music_T}并生成用户收听的音乐的字典集；

步骤二、对用户收听的音乐进行向量表征并转换历史数据序列：

采用skip-gram训练模型来生成歌曲的向量，训练的过程分为两部分，首先用训练数据构建一个神经网络，建立模型生成一个向量空间，然后通过模型来获取歌曲项目在这个空间内的表征向量，网络隐层的权重矩阵就是所需要的向量；

步骤三、用向量表征后的序列训练长短时记忆网络并预测：

采用长短时记忆网络LSTM来对用户的音乐重复收听行为进行预测；预测的LSTM包括三个控制门层：遗忘门层、输入门层、输出门层；LSTM的训练数据为步骤二中通过表征向量转换后的用户历史收听序列。

2.根据权利要求1所述的基于向量表征和长短时记忆网络的音乐重复收听行为预测方法，其特征在于，所述步骤二的具体步骤为：

1)首先选取序列中的一首音乐作为输入；

2)定义一个参数skip_window，代表从当前输入项目的左侧或右侧选取项目的数量，从而得到一个选取窗口；然后定义另一个参数num_skips，代表从整个窗口中取多少个项目作为输出，然后得到(输入项目，输出项目)形式的训练数据；

3)最后神经网络基于(输入项目，输出项目)形式的训练数据进行训练并得到一个概率分布，这个概率分布表示当前词典中每个词是输出词的可能性；

4)最终在训练好一个skip-gram模型时，会得到隐含层的权重矩阵W；对于一个有N个项目的消费序列，用M维的特征来表示一个项目，神经网络的隐含层就有M个节点，则隐含层的权重矩阵W的维度为N*M维；最后隐含层的权重矩阵W就能转化成N个项目的向量；

5)得到每首音乐的向量之后，根据向量再把用户收听音乐的历史序列{music₁，music₂，...，music_T}转换为{vector₁，vector₂，...，vector_T}。

3.根据权利要求1所述的基于向量表征和长短时记忆网络的音乐重复收听行为预测方法，其特征在于，所述步骤三的具体步骤为：

定义一个长短时记忆网络，包含三个控制门：

遗忘门层：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

遗忘门用来控制要忘记哪些过去的信息，遗忘门会读取上一个细胞的输出h_t-1和当前细胞的输入x_t，然后输出一个0～1之间的数值f_t给上一个时刻的细胞状态C_t-1，其中W_f为遗忘门的权重，b_f为遗忘门的偏置值；

输入门层：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

输入门能决定让多少新的信息加入到当前的细胞状态中来；遗忘门读取上一个细胞的输出h_t-1和当前细胞的输入x_t，然后输出一个0～1之间的数值i_t，W_i为遗忘门的权重，b_i为遗忘门的偏置值；同时，一个tanh层会生成一个向量作为备选的用来更新的内容，W_c为tanh层的权重，b_c为tanh层的偏置值；然后把细胞状态C_t-1更新为C_t，旧的状态C_t-1通过遗忘门丢弃部分不需要的信息，然后加上需要记忆的新输入信息得到新的细胞状态C_t；

输出门层：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t*tanh(C_t)

输出门会决定当前细胞会输出什么值，这个输出是基于当前细胞状态的；输出门读取上一个细胞的输出h_t-1和当前细胞的输入x_t，然后输出一个0～1之间的数值o_t，同时tanh层处理细胞状态然后与输出门的值相乘，得到当前细胞的输出值h_t，W_o为输出门门的权重，b_o为输出门的偏置值；

定义初始LSTM网络之后，把步骤二中转换后的用户数据序列去训练LSTM网络，输入数据为时间窗口内的历史数据{vector_i，vector_i+1，...，vector_i+w}，输出数据为i+W+1时刻收听歌曲的one-hot编码；最后用训练好的LSTM网络去预测下一次最后可能收听的音乐。