[发明专利]一种基于深度强化学习的推荐算法

权利要求书

1.一种基于深度强化学习的推荐算法，其特征在于，它包括以下步骤：

S1：初始化经验池，设置其容量W，经验池是商品推荐动作的集合，用于存储训练样本，开始训练之前经验池为空；

S2：建立MainNet神经网络，并对其进行初始化，所述的MainNet神经网络是主神经网络，用于得到推荐列表；

S3：建立TargetNet神经网络，并对其进行初始化，所述的TargetNet神经网络用于训练模型参数，得到最优模型参数；

S4：设定训练片段总数M；

S5：依据t时刻用户最近浏览的N个商品，初始化当前状态s_t，若用户最近浏览的商品为空，以N个热门商品代替；

S6：当前状态s_t作为MainNet神经网络的输入，得到当前状态s_t下可选动作的Q值列表Q(s_t,a_t,θ_u)，其中，s_t是当前状态，a_t是执行动作，θ_u是MainNet神经网络的参数；

S7：根据执行动作a_t，用户按照自己的兴趣进行点击/购买/忽略后，计算奖赏r_t和下一状态s_t+1；

S8：将商品推荐动作集合(s_t,a_t,r_t,s_t+1)存入经验池中；

S9：循环执行步骤S6-S8，直至经验池中存放着W个训练数据；

S10：随机从经验池中取出M个训练数据，将训练数据中的每一个下一状态s_t+1作为TargetNet神经网络的输入，得到下一状态s_t+1下可选动作的Q值列表Q(s_t+1,a_t+1,θ_u′)；

S11：更新MainNet神经网络的参数θ_u；

S12：每经过C轮迭代，其中C为预设的迭代数值，将MainNet神经网络的参数复制给TargetNet神经网络。

2.根据权利要求1所述的一种基于深度强化学习的推荐算法，其特征在于，步骤S2中所述的初始化包括：初始化参数θ_u，输入为当前状态s_t，输出为当前状态s_t下可选动作的Q值列表Q(s_t,a_t,θ_u)。

3.根据权利要求2所述的一种基于深度强化学习的推荐算法，其特征在于，所述的当前状态s_t表示如下：

其中，是t时刻用户最近浏览的第i个商品，sex是用户的性别，holiday、month、day、weather分别是节假日、当前时间段、时间、天气。

4.根据权利要求1所述的一种基于深度强化学习的推荐算法，其特征在于，步骤S3中所述的初始化包括：初始化参数θ_u′，输入为下一状态s_t+1，输出为下一状态s_t+1下可选动作的Q值列表Q(s_t+1,a_t+1,θ_u′)。