[发明专利]具有模仿学习机制的仿生轮式机器人系统及方法

摘要

本发明涉及具有模仿学习机制的仿生轮式机器人系统及方法。所述系统包括示教机器人A和模仿机器人B。机器人系统工作时，首先由示教机器人A演示示教行为，然后，模仿机器人B观测并模仿机器人A的示教行为。本发明将一种由舵机和红外线传感器组装而成的旋转装置搭载在模仿机器人上，通过旋转检测的行为捕捉方法，采集离散示教观测点的动作信息，然后将这些信息应用模仿学习算法，指导模仿机器人模仿学习示教行为。大大降低了传感器的成本，同时克服了传统运用摄像技术采集示教行为后图像处理的繁琐过程，提高了机器人模仿学习的效率，减少了机器人学习的时间。

主权项

具有模仿学习机制的仿生轮式机器人系统模仿学习的方法，应用如下具有模仿学习机制的仿生轮式机器人系统，该系统包括示教机器人A和模仿机器人B；示教机器人A用作示教者，向模仿机器人B演示示教行为；模仿机器人B为被训练学习对象，通过观测和模仿学习独立完成机器人A的示教行为；示教机器人A包括：机器人主体骨架(101)，固定在主体骨架两侧的驱动轮，即左轮(102)和右轮(103)，固定在主体骨架前侧的随动轮(104)，在机器人主体骨架上的STM32控制器(105)，固定在主体骨架上的左、右360度连续旋转的直流电机(106)、(107)，固定在机器人主体骨架前端的超声波传感器(108)，固定在主体骨架左前侧、左后侧、右前侧、右后侧的四个光敏传感器(109)、(110)、(111)、(112)，固定在主体骨架左前侧、左后侧、右前侧、右后侧的四个温度传感器(113)、(114)、(115)、(116)，固定在主体骨架下方两个电机之间的霍尔传感器(117)；四个光敏传感器(109)、(110)、(111)、(112)采集环境的亮度值，四个温度传感器(113)、(114)、(115)、(116)采集环境的温度值，超声波传感器(108)检测前方障碍物的距离，霍尔传感器(117)检测两个电机的转速；四个光敏传感器(109)、(110)、(111)、(112)、四个温度传感器(113)、(114)、(115)、(116)和超声波传感器(108)以及霍尔传感器(117)的输出端分别与STM32控制器(105)的输入端相连，STM32控制器(105)的输出端与直流电机(106)、(107)相连；模仿机器人B包括：机器人主体骨架(201)，固定在主体骨架两侧的驱动轮，即左轮(202)和右轮(203)，固定在主体骨架前侧的随动轮(204)，在机器人主体骨架上的STM32控制器(205)，固定在主体骨架上的左、右360度连续旋转的直流电机(206)、(207)，还包括固定在机器人主体骨架前段的360度连续旋转伺服舵机(208)，搭载在舵机上的红外线传感器(209)，固定在机器人主体骨架前端的超声波传感器(210)，固定在主体骨架左前侧、左后侧、右前侧、右后侧的四个光敏传感器(211)、(212)、(213)、(214)，固定在主体骨架左前侧、左后侧、右前侧、右后侧的四个温度传感器(215)、(216)、(217)、(218)，固定在主体骨架下方两个电机之间的霍尔传感器(219)；红外线传感器(209)检测前方光源的距离，四个光敏传感器(211)、(212)、(213)、(214)采集环境的亮度值，四个温度传感器(215)、(216)、(217)、(218)采集环境的温度值，超声波传感器(210)检测前方障碍物的距离，霍尔传感器(219)检测两个电机(206)、(207)的转速；红外线传感器(209)、四个光敏传感器(211)、(212)、(213)、(214)、四个温度传感器(215)、(216)、(217)、(218)和超声波传感器(210)以及霍尔传感器(219)的输出端分别与STM32控制器(205)的输入端相连，STM32控制器(205)的输出端与转直流电机(206)、(207)以及伺服舵机(208)相连；其特征在于，包括以下步骤：步骤1，示教机器人A执行示教行为；通过计算机串口向示教机器人A的STM32控制器(105)传送示教指令，机器人A运用它的多种传感器工作以及电机驱动，完成相应命令的动作行为，并在命令中设定示教行为终止信号；具体包括以下步骤：步骤1.1，初始化示教机器人A；配置STM32控制器(105)寄存器状态，初始化全局和局部变量，初始化传感器和左右直流电机的控制量；步骤1.2，选择机器人的示教任务，并读取预存于机器人内部的示教指令，四个光敏传感器(109)、(110)、(111)、(112)采集各自方向的环境亮度信号，四个温度传感器(113)、(114)、(115)、(116)采集各自方向的环境温度信号，霍尔传感器(117)采集左右直流电机(106)、(107)的转速；步骤1.3，STM32控制器(105)将传感器采集的亮度和温度数据运用均值算法进行处理，并将亮度和温度进行融合得到环境的亮温度值M；步骤1.4，采用模糊控制算法对步骤1.3得到的数据进行处理，输出PWM波至左、右两个直流电机(106)、(107)，完成相应动作，直至满足示教结束条件；步骤2，模仿机器人B观测示教机器人A的示教行为；在示教机器人A开始工作的同时，模仿机器人B控制系统的行为捕捉装置开始工作，具体包括以下步骤：步骤2.1，初始化模仿机器人B；配置STM32控制器(105)寄存器状态，初始化全局和局部变量，初始化传感器和左右直流电机的控制量；步骤2.2，模仿机器人B进行行为捕捉；步骤2.3，将导出的30次示教行为采集的数据组S3，应用示教行为理解算法进行数据处理，得到模仿函数I(s,a)、示教函数T(s,a)和模仿机器人B到光源的距离函数R(s,a)，其中s代表机器人状态，a代表机器人动作；步骤3，模仿机器人B模仿示教机器人A的示教行为；步骤3.1，初始化I(s,a)、T(s,a)定义动作集E{左转0～180度，右转0～180度，前行，后退}，使模仿机器人B在动作集中随机选择并执行其中一个动作；步骤3.2，观察t时刻的环境状态st；模仿机器人B在动作集中选择一个动作策略，表示如下：π(st)=argmaxa∈E[I(st,at)+ϵT(st,at)]]]>其中，at表示t时刻机器人的动作，π(st)表示在t时刻状态s下机器人B选择的一个动作策略，ε为调整权值；运用模仿学习算法中的该动作策略，控制器(205)输出PWM波，驱动左右直流电机(206、207)，完成这个动作；步骤3.3，执行所选动作后，运用四个光敏传感器(211)、(212)、(213)、(214)、四个温度传感器(215)、(216)、(217)、(218)和超声波传感器(210)以及霍尔传感器(219)采集此动作后的环境数据以及机器人本体数据来观察下一个状态并接收评价信号，即距离函数R(s,a)；步骤3.4，更新模仿函数I(s,a)和示教函数T(s,a)，表示如下：I(s,a)=I(st,at)+α{R(st,at)+γargmaxa∈E[I(st+1,at+1)-I(st,at)]}]]>T(s,a)＝T(st+1,at+1)其中，γ为折扣因子，0≤γ＜1；st+1为t+1时刻的环境状态，at+1为t+1时刻机器人的动作；步骤3.5，如果满足设定的模仿结束条件，模仿结束，机器人B停止工作；否则，转到步骤3.2，直至满足该条件后模仿结束；模仿结束条件设定为：机器人B与趋光趋热的对象光源热源的距离小于5cm。