[发明专利]一种基于自举DQN的增强学习深度搜索方法

说明书

技术领域

本发明涉及深度学习领域，尤其是涉及了一种基于自举DQN的增强学习深度搜索方法。

背景技术

增强学习是机器学习方法中的一种，完成从环境状态到动作映射学习，根据最大的反馈值选择最优的策略，搜索策略选择最优的动作，引起状态的变化得到延迟反馈值，评估函数，迭代循环，直到满足学习条件即终止学习。有效的深度搜索对于增强学习(RL)是一个重大的挑战，常用的算法如抖动算法等都需要大量的数据，然而在现实中很难获得如此大量的数据，正因无法收集到正确的对应学习的数据，使得学习效率低且计算成本高。

本发明提出了一种基于自举DQN的增强学习深度搜索方法，主要内容包括自举Deep Q Network(DQN)、深度搜索和环境背景；其中自举Deep Q Network包括自举样本和自举DQN，深度搜索包括深度搜索测试和自举DQN驱动深度搜索，环境背景包括生成在线自举DQN和自举DQN驱动。自举DQN是一种结合了深度学习与深度探索的实用强化学习算法，证明了自举可以对深度神经网络产生有效的不确定性估计，也可扩展到大规模的并行系统，在多个时间步骤上对信息进行排序，保证样本的多样性；在复杂的环境中自举DQN作为有效的增强学习中的一种算法，并行处理大量数据，计算成本低，学习效率高，性能表现优异。

发明内容

为解决上述问题，本发明提供一种基于自举DQN的增强学习深度搜索方法，其主要内容包括自举Deep Q Network(DQN)、深度搜索和环境背景；其中自举Deep Q Network包括自举样本和自举DQN，深度搜索包括深度搜索测试和自举DQN驱动深度搜索，环境背景包括生成在线自举DQN和自举DQN驱动。

其中自举样本，自举原则是近似人口分布的样本分布最常见的形式，自举用来作为输入数据集D和输入估计从自举分布中生成样本，基数的数据集相当于D通过更换均匀采样，自举样本估计采用该网络由一个含K个“头”的独立分支的共享的框架组成，每一个“头”只在其自举子样本数据训练，代表一个单一的自举样本共享网络学习所有数据的联合特征，提供显着的计算优势，在“头”之间的多样性成本低；这种类型的自举可以在单一向前/向后传递有效地训练，我们训练一个完全连接的2层神经网络，每层有50线性单元(ReLU)，样本数据中50个自举样品，作为标准，我们用随机参数值初始化这些网络，获得模型中重要的初始多样性。

其中自举DQN，对于一个策略π，我们定义一个在状态s的动作值a，

其中γ∈(0,1)是一个贴现因素，平衡即时与未来的反馈值r_t；表明初始状态s，初始动作是a，之后策略π选择动作，最优值为：

Q^*(s，a)：＝max_πQ^π(s，a)(2)

扩展到更大的网络，学习Q值函数的参数估计Q(s,a；θ)，使用神经网络来估计这个值；Q-学习从状态s、动作值a、反馈值r_t进行更新，新状态s_t+1通过下式确定：

其中α是标量学习率，是目标值r_t+γmax_aQ(s_t+1，a；θ^-)，θ^-是目标网络参数，固定为θ^-＝θ_t；

Q-学习的更新提高DQN稳定性，首先，采用从经验缓冲的采样转换的算法学习，而不是完全在线学习；其次，该算法使用参数θ^-的目标网络，该参数从学习网络θ^-←θ_t复制，每τ的时间步更新之间保持固定；双DQN修改目标有助于进行下一步：

自举DQN通过自举修改DQN近似分布的Q值，在每一集的开始，自举DQN样品从近似后验单值函数，然后个体根据策略使样品在这段时间最优；我们有效地实现了这个算法，建立K∈N自举估计Q值函数的并联；重要的是，这些函数“头”的每一个Q_k(s,a；θ)对自己的目标网络Q_k(s,a；θ^-)进行培训，每个Q₁,…,Q_k提供时间延长估计值的不确定性通过TD估计；为了跟踪哪些数据属于哪个自举“头”我们存储的标志w₁,…,w_k∈{0,1}，说明这“头”参与哪些数据；我们选择k＝{1,…,K}的引导样本作为近似随机。