[发明专利]一种面向行为克隆的示范主动采样方法

说明书

本发明公开了一种面向行为克隆的示范主动采样方法。行为克隆是一类典型的模仿学习算法，该算法在自动驾驶领域得到了广泛的关注。现有的行为克隆算法为了训练有效的策略，需要专家提供大量的示范。然而在实际任务中，提供示范的代价是高昂的，高昂的代价限制了行为克隆方法的应用。主动学习通过挑选最有价值的样本进行标注可以有效的减少标注代价。本发明利用主动学习，从状态候选集中挑选最具价值的状态作为起始状态，然后让专家从起始状态开始做示范，并返回固定长度的轨迹，可以使得示范的价值最大，从而有效的减少示范的代价。

技术领域

本发明属于机器学习领域，具体涉及一种面向行为克隆的示范主动采样方法。

背景技术

深度强化学习是近年来非常热门的机器学习技术，在围棋、游戏、商业领域都取得了重要的进展。但是当任务的状态空间庞大时，深度强化学习的环境探索效率比较低下，导致训练策略的时间太久。模仿学习通过从专家的示范中学习策略，可以有效的解决这一问题。行为克隆是一类经典的模仿学习算法，该方法将专家的示范构成训练集，然后直接用监督学习从中学得策略。目前，行为克隆方法在自动驾驶领域得到了广泛的关注，无论是电动汽车公司特斯拉还是自动驾驶公司Waymo，都在尝试用行为克隆训练自动驾驶的智能体。然而，行为克隆算法通常假设可以获得大量的专家示范，但是在实际任务中，获得专家示范的代价通常是比较高昂的。以自动驾驶为例，专家在提供驾驶数据时，不仅要付出时间上的代价，还要面临安全上的风险。主动学习中通过挑选最具价值的样本向专家查询可以有效的降低标注的代价。而现有的基于主动学习的模仿学习算法都是挑选一个状态，然后让专家示范一个动作，这种查询方式在现实任务中不够实用，更实用的查询方式是让专家以提供的状态为起始状态，提供固定长度的示范轨迹。

发明内容

发明目的：为了克服现实任务中应用行为克隆时，获取示范代价高昂的问题，本发明提供一种面向行为克隆的示范主动采样方法。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种面向行为克隆的示范主动采样方法，其特征在于：包括以下步骤：

(一)要求专家提供少量示范轨迹，以初始化示范集合D。

(二)从示范集合D中用行为克隆算法训练策略。

(三)如果训练得到的策略达到要求则结束，否则转向步骤(四)。

(四)利用训练得到的策略计算状态候选集每个状态的贡献值，挑选出贡献值最大的状态。

(五)将(四)所得到的状态向专家查询，专家以提供的状态作为起始状态，提供固定长度的示范轨迹。

(六)将示范轨迹加入示范集合中，转向步骤(二)。

进一步的，所述步骤(一)初始化示范集合的具体方法：

首先随机从状态空间中挑选少量的状态构成状态集合，然后专家以状态集合中的每一个状态作为起始状态，分别提供固定长度的示范轨迹。具体地说，假设状态集中有m个状态，每次从状态集中取出一个状态，并标记为初始状态s₁，轨迹的长度设定为L，那么专家从s₁开始决策，并返回一条形如{(s₁，a₁)，(s₂，a₂)，...，(s_L，a_L)}的示范轨迹，其中a_i为专家在状态s_i所提供的动作，s_i+1为s_i的下一状态。将所有示范轨迹中的所有状态-动作对用作对示范集合D的初始化，即示范集合是由状态-动作对构成的集合。

进一步的，所述步骤(二)用行为克隆算法训练策略的具体方法为：

设示范集合D由n_l个状态-动作对构成，所述行为克隆算法的目标函数定义为：