[发明专利]一种基于离线策略强化学习的机械臂控制方法及系统

权利要求书

1.一种基于离线策略强化学习的机械臂控制方法，其特征在于，包括：

采集目标体位姿以及机械臂末端的位姿和速度构成状态信息s；

预训练的最终抓取模型根据状态信息s输入至形成轨迹控制指令，并控制机械臂抓取所述目标体；

所述最终抓取模型构建过程包括：

在仿真器中改变目标体的形状和姿态，构建抓取任务训练集；

基于离线策略强化学习方法构建仿真抓取模型，基于元Q学习的仿真环境中通过抓取任务训练集对抓取模型进行训练，将训练过程中仿真机械臂的轨迹数据、轨迹上下文变量作为迁移数据，存储至经验区D^meta，获得仿真抓取任务元训练模型；

在真实环境中对仿真抓取任务元训练模型进行设计次数的训练，记录机械臂的轨迹数据、轨迹变量作为迁移数据，存储至经验区D^new；由经验区D^new和经验区D^meta中分别抽取设定数量的迁移数据组，计算迁移数据组的倾向性得分和归一化有效采样量；

利用经验区D^meta中的迁移数据再次对仿真抓取任务元训练模型进行仿真训练，训练过程中基于倾向性得分和归一化有效采样量构建多任务目标作为迁移损失函数；根据迁移损失函数对仿真抓取任务元训练模型进行迭代更新，获得收敛的最终抓取模型。

2.根据权利要求1所述的一种基于离线策略强化学习的机械臂控制方法，其特征在于，在仿真器中改变目标体的形状和姿态，构建抓取任务训练集的方法包括：将目标体分别绕水平设置的旋转轴a和竖直设置的旋转轴b旋转18次，且每次旋转角度为10度，得到36个抓取任务，构建为抓取任务训练集。

3.根据权利要求1所述的一种基于离线策略强化学习的机械臂控制方法，其特征在于，基于元Q学习的仿真环境中通过抓取任务训练集对抓取模型进行训练的方法包括：

仿真抓取模型控制仿真机械臂执行抓取任务训练集中的抓取任务，形成仿真机械臂的轨迹数据，利用后视经验回放算法计算仿真机械臂的轨迹数据的目标状态和奖励信号；

基于目标状态和奖励信号构造多任务的仿真训练损失函数；根据仿真训练损失函数对仿真抓取模型的参数进行更新，获得损失函数收敛的仿真抓取任务元训练模型。

4.根据权利要求3所述的一种基于离线策略强化学习的机械臂控制方法，其特征在于，所述多任务目标的仿真训练损失函数的表达公式为：

y_j＝r_j+γQ'(s_t+1,μ'(s_t+1|θ^μ')|θ^Q')

公式中，L_i表示为执行第i抓取任务的损失值；N表示为批量数据的数量；s_j表示为第j个数据中的机械臂状态；s_t+1表示为在仿真环境中第j个数据中的后继机械臂状态；a_j表示为第j个数据中的机械臂动作；r_j表示为的第j个数据中的奖励；Q(·)表示为仿真抓取任务元训练模型中的价值网络；Q′(·)表示为仿真抓取任务元训练模型中的目标价值网络；γ表示为奖励折扣因子；μ′()表示为仿真抓取任务元训练模型中的目标决策网络；θ^μ′表示为目标决策网络的参数；θ^Q′表示为目标价值网络的参数。

5.根据权利要求1所述的一种基于离线策略强化学习的机械臂控制方法，其特征在于，轨迹上下文变量计算方法包括：利用门控循环单元GRU由轨迹数据中提取轨迹上下文变量。

6.根据权利要求1所述的一种基于离线策略强化学习的机械臂控制方法，其特征在于，所述迁移数据组的归一化有效采样量的计算方法包括；

通过迁移数据组训练逻辑斯谛回归模型作为倾向性得分估计函数β，利用分估计函数β计算迁移数据组的归一化有效采样量，表达公式为

公式中：ESS表示为迁移数据组的归一化有效采样量；β(·)表示为倾向性得分估计函数；x_j表示为第j个迁移数据；m表示为迁移数据总数量。