[发明专利]规则数据双驱动的机器人复杂操作过程人机混合决策方法

说明书

本发明公开了一种规则数据双驱动的机器人复杂操作过程人机混合决策方法，包括：步骤1)定义机器人操控过程的马尔科夫决策过程；步骤2)设计机器人操控过程的基于规则的参数化策略；步骤3)对规则参数的期望值进行初始化；步骤4)生成机器人操作过程的N个控制策略；步骤5)将操作控制策略逐次发送给机器人，测量所述机器人的实际位置、实际速度、执行时间和接触力数据并计算累加奖励函数；步骤6)估计机器人操作过程值函数；步骤7)调整规则参数；步骤8)如果调整后的规则参数收敛，则使用当前规则参数执行操控任务，否则，则返回步骤3)继续执行。其解决了复杂操作场景下机器人操作技能学习过程操作策略难求解、收敛慢的问题。

技术领域

本发明属于人-机器人协作操作控制技术领域，具体涉及一种规则数据双驱动的机器人复杂操作过程人机混合决策方法。

背景技术

人机混合智能作为人工智能2.0的重要方向，是一种颠覆性的人工智能技术，它旨在通过人机协作的方式，提高人机协作系统的综合性能，使得人类智能和人工智能的结合成为最高效的解决复杂任务问题的基本方式。当前的人工智能技术在解决以环境高复杂、边界不确定、博弈强对抗、响应强实时和样本稀疏为主要特征的复杂操控问题上还存在较大挑战，人机混合智能概念的出现给解决机器人复杂操作控制问题提供了可行的途径。

发明内容

本发明的目的是提供一种规则数据双驱动的机器人复杂操作过程人机混合决策方法，以解决复杂操作场景下机器人操作技能学习过程操作策略难求解、收敛慢的问题。

本发明采用以下技术方案：规则数据双驱动的机器人复杂操作过程人机混合决策方法，包括以下步骤：

步骤1)定义机器人操控过程的马尔科夫决策过程S,A,p,R,S0,γ，设计机器人操作过程的状态空间S、动作空间A以及奖励函数R、状态转移概率为p，奖励函数为R，S0为状态初值，γ为折扣率；

步骤2)设计所述步骤1)中的机器人操控过程的基于规则的参数化策略，并得到规则参数；

步骤3)对步骤2中得到的所述规则参数的期望值进行初始化，并设计所述规则参数的分布为高斯分布，并人为设置参数的探索方向和探索方差；

步骤4)根据步骤3中规则参数的概率分布情况，生成机器人操作过程的N个控制策略；

步骤5)将步骤4生成的N个操作控制策略逐次发送给机器人，所述机器人每次执行操作任务的过程中，测量所述机器人的实际位置、实际速度、执行时间和接触力数据，并计算所述机器人每次执行操作任务过程中的累加奖励函数；

步骤6)利用步骤5)中累加奖励的概率分布估计机器人操作过程值函数；

步骤7)利用步骤6)估计得值函数的策略梯度调整经所述步骤3中初始化的规则参数；

步骤8)如果经步骤7)调整后的规则参数收敛，则使用当前规则参数执行操控任务，否则，则返回步骤3)步继续执行，直至算法收敛。

进一步的，步骤2)具体为：

采用参数化规则，构建人-机器人协作操控系统参数化规则网络；将机器人操作过程中的状态参数s_t作为输入信号输入到规则网络模型中，得到机器人控制输出，如下：

a_t＝π_θ(s_t)，

其中，S_t表示机器人-环境交互系统状态参数，θ表示参数化规则中的规则参数，π表示机器人参数化策略。

进一步的，步骤3)中，初始化的规则参数由人员示教数据提取得到，或由人员根据操作经验指定；算法迭代过程中的规则参数的探索方向和探索方差由人员根据先验经验设定。