[发明专利]一种情景记忆引导的机器人操作技能高效学习方法

权利要求书

1.一种情景记忆引导的机器人操作技能高效学习方法，其特征在于，所述学习方法包括以下步骤：

步骤1：建立机器人学习情景记忆模型M；

提出基于机器人技能的事件建模方式；机器人情景记忆模型M，M由不同的事件e构成，即M＝{e₁,e₂,e₃,…e_i}，其中每个事件e由四元组o_t,a_t,r_t,o_t+1表示，M中每个单元的构成与深度强化学习中表述状态的四元组的结构相同；其中，o_t是由t时刻的环境状态s_t和机器人状态p_t所编码成的场景信息，s_t是机器人通过传感器获得的环境状态，p_t是包含机器人位姿状态、关节角度或其他机器人状态；a_t是机器人在环境状态s_t下执行的动作，在时间维度上表示机器人在当前任务采取的动作序列；r_t是环境和学习策略在机器人执行动作后给出的奖励值；单一事件可以表示为e_t，机器人通过执行动作a_t，从环境状态s_t步入到环境状态s_t+1，环境和学习策略共同对机器人的表现做出评价，给出对应的奖赏值r_t；

步骤2：构建情景记忆模型检索算法；

机器人在情景记忆模型M中检索与当前场景信息相匹配的所有事件集合E，具体为：采用余弦距离作为相似性度量函数，由任务编码器将当前环境状态与机器人状态编码为场景信息o_t，通过计算o_t与情景记忆模型M中存储事件的场景信息o_m之间的向量相似性，选取情景记忆模型中所有相匹配的事件作为事件集合E:

D(o_t,o_m)＝(o_t*o_m)/(‖o_t‖*‖o_m‖)           (1)

当D(o_t,o_m)大于设定阈值时，认为当前场景在记忆中存在，认为机器人经历过相类似场景和事件，情景记忆中包含o_m的事件将被提取到E中；当D(o_t,o_m)小于阈值时，则认为情景记忆模型中存在的事件与当前场景信息不匹配；

步骤3：根据情景记忆模型引导深度强化学习的动作选择；

机器人传感器捕获当前环境状态s_t和机器人状态p_t，将s_t和p_t编码为场景信息o_t，根据步骤2获取事件集合E，在事件集合中提取拥有最大奖赏值的动作为a_m；由深度强化学习的策略网络生成动作a_π，机器人在a_m和a_π中选择最终作用于环境的动作a_t；

步骤4：深度强化学习环境进行迭代；

机器人执行在步骤3中选择的动作a_t，机器人所处环境在机器人执行动作后发生改变，环境状态由s_t步入到s_t+1，同时，机器人状态由p_t变为p_t+1，深度强化学习的评价网络根据环境状态s_t+1给出对应的环境奖赏值r_t，如果机器人完成任务目标，r_t为1，否则为0；

步骤5：更新情景记忆模型；

机器人使用环境状态s_t+1和机器人状态p_t+1构成当前时刻的场景信息o_t+1，以o_t+1作为索引，使用步骤2中的检索方法，在情景记忆模型中检索相匹配的事件集合E，并设置记忆奖赏值如果E为空，则将设置为0，如果E不为空，则提取E中的最大奖赏值作为

使用步骤4获得的环境奖赏值r_t和更新情景记忆模型：如果r_t等于1，则将表示事件的四元组{o_t,a_t,r_t,o_t+1}添加到情景记忆模型M中；如果r_t等于0，由于s_t和s_t+1之间的状态转移关系，使用乘上一个折扣因子α来替代r_t：

并将四元组{o_t,a_t,r_t,o_t+1}添加到情景记忆模型M中；在情景记忆模型M更新之后，将表示事件的四元组{s_t,a_t,r_t,s_t+1}写入深度强化学习算法的经验回放缓存；之后，学习过程将进入下一次迭代，回到步骤3进行重复，直至训练步数完成。