[发明专利]一种情景记忆引导的机器人操作技能高效学习方法

说明书

本发明提供一种情景记忆引导的机器人操作技能高效学习方法，属于智能机器人服务技术领域。该高效学习方法首先，建立机器人学习系统情景记忆模型，并构建机器人感知与记忆进行相似性度量算法，实现对事件和场景信息检索匹配与情景记忆中事件的更新调用；其次，构建两相情景记忆引导的机器人操作技能深度强化学习算法，分别使用情景记忆引导动作选择过程；最后，并以情景记忆评估学习过程中各状态的价值，生成深度强化学习算法的奖赏函数。本发明提供使用已有经验指导机器人学习新技能的方法，能够提高机器人对操作技能的学习效率，解决机器人操作技能学习过程中数据量过大、使用深度强化学习算法学习效率低的问题。

技术领域

本发明属于智能机器人服务技术领域，涉及到一种情景记忆引导的机器人操作技能高效学习方法。

背景技术

近年来，智能机器人在工业生产、医疗、商业、家庭服务等领域，当前机器人的学习方法针对精确、重复性的任务已经能够胜任，但是缺乏对新任务的学习能力，相似任务场景需重复训练，不能积累经验指导新任务实现快速学习等问题。在发明专利CN112518742A中，清华大学深圳国际研究生院的李秀、杨瑞等公开了一种基于动态模型与事后经验回放的多目标机器人控制方法。其基于动态模型与单步值函数估计和多步值函数展开来加速多目标强化学习训练，利用事后经验回放技术，在多目标强化学习中，将失败经历的目标替换为实际完成的目标。西安交通大学的田智强、李根等在发明专利CN111421538A中公开了一种基于优先级经验回放机制的深度强化学习控制算法。其训练过程中实时采集目标物体的状态信息用于计算经验回放的优先级，然后将经验回放池中的数据根据优先级供强化学习算法采样学习获得控制模型。但是上述方法适用范围有限，首先，上述方法缺少对生物学习系统中经验复用相关功能的关注，在经验复用方面，上述方法采用经验回放的机制，在训练过程中提取经验池中的数据来重复进行神经网络的训练，缺少类似生物学习系统中对经验的直接检索、调用等功能。其次，上述方法在经验复用时，仅仅只考虑到某一时刻的机器人状态信息，未考虑到在连续工作的情况下机器人不同状态之间的关联性。同时，其机器人学习系统框架复杂，设计与搭建难度较大。最后，其缺少对使用深度强化学习方法时常常面临的奖赏函数设计与稀疏奖励的问题的研究，其只适用于在特定任务的学习，并需提前设计奖赏函数，无法进行机器人操作技能的完全自主学习，在认知层面缺少对生物学习能力的研究与应用，导致机器人缺少类人或类似生物的自主学习、探索的相关能力，未能实现机器人在实际应用时的高效学习性，难以满足机器人能够不断接触新任务，学习新技能的要求。因此上述方法尚不能满足智能机器人操作技能的快速学习等要求。

发明内容

本发明主要解决的问题在于智能机器人如何利用已学知识和已有经验提高对任务学习的效率和使用深度强化学习时面临的系数奖励问题。针对当前机器人技能学习存在的需要大量数据训练，相似任务场景需重复训练，不能积累经验指导新任务实现快速学习等问题，本发明提出一种情景记忆引导的机器人操作技能高效学习方法。

为了达到上述目的，本发明采用的技术方案为：

一种情景记忆引导的机器人操作技能高效学习方法，所述学习方法首先设计了机器人情景记忆模块，在使用深度强化学习进行机器人操作技能学习的过程中，将学习过程分为前后两相，在前相位显式的调用记忆中的事件来提高样本效率，加快学习速度；其次，在后相位学习与环境交互的过程中，实时的更新和扩展记忆，形成机器人记忆更新迭代机制；再次，提取记忆模块中不同状态之间的联系，以最终状态为起点生成奖励函数；最后，结合机器人感知规划模块的感知环境、目标检测、路径规划能力，与目标对象进行交互完成任务，实现记忆引导的机器人操作技能快速学习。具体包括以下步骤：

步骤1：建立机器人学习情景记忆模型M；