[发明专利]一种基于深度强化学习的个性化客户推荐系统和方法

权利要求书

1.一种基于深度强化学习的个性化客户推荐方法，其特征在于：包括图像数据采集模块、移动数据采集模块、在线数据模块、处理终端，所述图像数据采集模块通过第一通信模块与处理终端通信连接，所述移动数据采集模块通过第二通信模块和处理终端通信连接，所述在线数据模块通过第三通信模块和处理终端通信连接；

所述图像数据采集模块用于采集进店用户头像信息，所述用户头像信息包括用户性别、年龄、消费水平和地理位置；

所述移动数据采集模块用于采集用户选择的景区以及用户信息，所述用户信息包括用户对景区是否选择；

所述在线数据模块为存储在服务器中的数据库，所述数据库中存储有用户历史信息，所述用户历史信息为用户旅游过的景区；

所述处理终端用于对接收的信息建立景区推荐模型，并根据景区推荐模型给出最优的景区推荐方案；

步骤为，

S1：图像数据采集模块实时采集用户信息；

S2：图像数据采集模块和处理终端通过USB接口通信，将从数据采集模块接收到的图像信息传输至数据处理终端；

S3：数据处理终端接收图像信息后，建模单元对所接收的数据信息建立环境模型；决策单元根据所述环境模型提供最优景区类型推荐方案，并将该方案传递给移动数据采集模块；

S4：移动数据采集模块将用户选择的景区以及用户信息传递给数据处理终端；

S5:数据处理终端在接受信息后，通过在线数据模块获取用户历史信息并通过特征匹配结合利润数据，用户历史信息和用户习惯给出最终的推荐景区，并传输给移动数据采集模块；

步骤S3中建立环境模型包括以下步骤：

S31：将景区推荐问题建模为一个马尔科夫决策过程模型，对其中的状态，动作及立即奖赏函数进行建模；

S32：建立回报值函数模型；

S33：利用DQN深度强化学习算法求解最优调整方案；

具体建模和深度强化学习算法为：

步骤一：将景区推荐问题建模为一个MDP模型，并定义其中的状态，动作以及立即奖赏函数；

(a)状态，用s表示，设某一时刻进店用户的图像分析得到的性别为Sex，年龄Age，消费水平Co，地理位置Pos，则此时的用户状态可以表示为：

s＝(Sex，Age，Co，Pos)

其中消费水平通过用户衣着得出；

(b)动作，用a表示，设景区类型被选中则为1，未被选择则为0，设系统选取了n种不同类型景区，该n种景区为细分n个景区类型中基于景区可玩性给出内部评分中的最高分景区，则系统可以采取的动作集合为：

a＝{[0,1],[0,1],……,[0,1]}；[0,1]共n个，n为自然数；

(c)立即奖赏函数，用r表示，在该系统中表示为用户选择喜欢程度，则奖赏表示为：

r＝r1+1.5*r2；

r1＝I*(10+0.01*R)其中I表示指示函数，当用户点击时为1，否则为0；

R为对应类型景区的平均利润；

r2＝I*(100+0.01*R)；R为选择景区对应类型的平均利润；

其中r1表示用户点击选择景区类型的奖赏，r2表示用户最终选择的景区的奖赏；

步骤二：建立值函数回报模型；

设R(s,a)表示在状态s下采用动作a的回报值，值函数Q(s,a)是关于R(s,a)的期望，则Q(s，a)＝E[R(s，a)]；

步骤三：利用DQN深度强化学习算法求解最佳策略；

(1)初始化记忆回放单元，容量是N，用于储存训练的样本；

(2)初始化当前值网络，随机初始化权重参数ω；

(3)初始化目标值网络，结构以及初始化权重与当前值网络相同；

(4)将显示路况的照片通过当前值网络，得到任意状态s下的Q(s,a)通过当前值网络计算出值函数后，使用∈-greedy策略来选择动作a，每一次状态转移即做出动作记为一个时间步t，将每个时间步得到的数据(s,a,r,s’)存入回放记忆单元；

(5)定义一个损失函数L(ω)：

L(ω)＝E[(r+γmaxa′Q(s′,a′；ω^-)-Q(s,a；ω))²]

(6)从回放记忆单元中随机抽取一个(s,a,r,s’)，将Q(s,a)，s’,r分别传给当前值网络，目标值网络和L(ω)，对L(ω)关于ω使用梯度下降法进行更新，求解出最优策略，DQN算法更新值函数的方式如下：

Q(s,a)←Q(s,a)+α[r+γmax_a’Q(s’,a’；ω^-)-Q(s,a)]

s←s′

a←a′

其中γ为折扣因子，根据实际收敛情况而定；

(7)每N次迭代后更新目标值网络的参数为当前值网络的参数；

步骤四：将n个景区类型中DQN网络输出的概率最高的m个景区传递给移动数据采集模块供用户选择，n和m均为自然数，nm。