[发明专利]基于忆阻交叉阵列与Q学习的机器人路径规划系统

摘要

本发明公开了一种基于忆阻交叉阵列与Q学习的机器人路径规划系统，一方面将Q学习中距离目标点的回报由离散点的形式改为用函数表达，另一方面，当机器人距障碍物一定范围时让其以直线趋近目标点，并且本发明提出了具有连续输入输出、动态可变电阻、纳米尺寸的忆阻交叉阵列模型，详细推导了改变忆阻值所需要的电压以及所需的施加时间。最后经实验分析，证明了方案的有效性。本发明提出了利用忆阻交叉阵列来实现机器人路径规划系统的新方案，将为忆阻器以及机器人路径规划更为广阔的应用提供新的思路。

主权项

1.一种基于忆阻交叉阵列与Q学习的机器人路径规划系统，包括忆阻交叉阵列，其特征在于，还包括读写控制开关、状态检测与选择模块、列选择开关、控制器、随机选择模块、第一比较器、第二比较器、延迟单元以及运算模块，其中：读写控制开关：用于控制忆阻交叉阵列的读写操作，设置有读电压V_r输入端和写电压V_w输入端；状态检测与选择模块：当需要根据状态执行相应动作时，用于检测当前环境状态s_t，执行动作a_t并得到环境回报r_t；当需要对Q值进行更新时，用于输出前一个时刻的环境状态，并选择相应的行线，使其加载写电压V_w，并持续时间T_w，更新忆阻阵列的输出值；列选择开关：用于选择对应的列线；控制器：用于控制当前时刻是随机选择模块工作还是第一比较器工作；随机选择模块：通过生成一随机数作为列线选择的判断标准；第一比较器：用于比较所有列线的电压值，并将电压值最大的一列选择送入延迟单元中；第二比较器：用于比较所有列线的电压值，并将电压值最大的一列选择送入运算模块中；延迟单元：将输出电压延迟一个时间步长；运算模块：用于根据环境回报r_t、延迟单元的输出电压以及第二比较器的输出电压计算得到写电压V_w以及施加时间T_w；所述运算模块按照计算更新当前状态忆阻值所需要的写电压V_w，其中α为学习率，γ为折扣率，r_t为机器人在状态s_t下执行动作a_t后环境给的回报状态，V(s_t,a_t)为延迟单元输出的电压值，为第二比较器输出的电压值；所述环境回报r_t按照计算，其中系数c控制着收敛速度，d_t是机器人与目标点之间的距离；利用(x,y,ω)表示机器人当前坐标位置和旋转角，θ表示机器人运动方向与水平方向的夹角，当d_t≤l₁，l₁为预设阈值，调整ω让机器人朝向目标点，然后让机器人以直线的方式趋近于目标点；如果在机器人趋近目标点的过程中没有遇到障碍物，则执行动作按以下两种情况设置：1)在每一个离散的时间步t内，当机器人与目标点在同一水平线上时，机器人的位置调整为(x±d₀，y，0°)，直到它到达目标点；当机器人与目标点在同一垂直线上，机器人的位置调整为(x，y±d₀，90°)；2)在每一个离散的时间步t内，当机器人与目标点不在同一水平或垂直线上，有下列四种情况：Ⅰ：当机器人的坐标满足：x<x_target and y<y_targe，计算出θ后将机器人的位置调整为(x+x′，y+y′，θ)直到它到达终点，x′和y′都是预设的步进；Ⅱ：当机器人的坐标满足：x>x_target and y<y_target，计算出θ后将机器人的位置调整为(x‑x′，y+y′，180°‑θ)直到它到达终点，x′和y′都是预设的步进；Ⅲ：当机器人的坐标满足：x<x_target and y>y_target.计算出θ后将机器人的位置调整为(x+x′，y‑y′，360°‑θ)直到它到达终点，x′和y′都是预设的步进；Ⅳ：当机器人的坐标满足：x>x_target and y>y_target.计算出θ后将机器人的位置调整为(x‑x′，y‑y′，180°+θ)直到它到达终点，x′和y′都是预设的步进；其中：θ＝arcsin(|y_target‑y|/d_t),θ∈[0,90°]；(x_target,y_target)表示目标点的坐标位置。