[发明专利]一种基于Sarsa安全模型的无人自动小车的控制方法

权利要求书

1.一种基于Sarsa安全模型的无人自动小车的控制方法，其特征在于，包括如下步骤：

S1、初始化状态-动作值函数Q(x，u)，其中，u∈U(x)，获取步长α、回报值R、折扣因子γ、策略参数ε、权重参数β，初始化状态空间X和动作空间U，选择初始状态和初始动作；

S2将初始状态置为当前状态x，将初始动作置为当前动作u；

S3、执行当前动作u，无人自动小车进入下一状态x′并获得回报值R；

S4、对约束函数进行线性处理；

S5、用拉格朗日乘数法求解无人自动小车处于下一状态x′时可执行的下一安全最优动作u^*；

S6、完成Q值函数、状态空间X和动作空间U的更新；

S7、判断下状态是否为目标状态，如是，则结束本次控制，如否，则进入步骤S8；

S8、将下一状态x′置为当前状态x，将下一安全最优动作u^*置为当前动作u，回到步骤S3；

Sarsa安全模型满足如下公式：

x′＝f(x，u)，表示无人自动小车处于当前状态x执行动作u后进入下一状态x′的概率；

Sarsa安全模型满足如下公式：

表示下一状态x′是否满足安全约束，可以由当前状态x和执行的当前动作u决定，即下一状态x′是安全的是因为无人自动小车所处的当前状态x是安全的，当前动作u是安全动作；

符号指符号左边的内容被定义为右边的内容；

采用如下公式对约束函数进行线性处理：

其中，符号≈表示左边由右边近似得到；

下标t表示无人自动小车运动的时间；

上标T表示对向量或矩阵做转置运算；

g(x_t；ω_i)表示以x_t作为输入，输出和u_t有相同维数的一个向量；

采用如下公式计算ω_i：

D＝{(x_t，u_t，x′_t)}，表示集合D由三元组(x_t，u_t，x′_t)组成，表示智能体在当前状态x_t，执行当前动作u_t进入下一状态x′_t，目标函数的最优解在集合D中找到；

Sarsa安全模型满足如下条件：

其中：

为目标函数；

为约束函数；

s.t.表示满足，即目标函数在优化的过程中满足约束函数；

下标t和t+1表示无人自动小车运动的时间；

i表示第i个约束；

C_i为一个常量值；

采用如下公式计算下一安全最优动作：

其中，满足的当前状态x_t和当前动作u_t是局部最优解，该局部最优解用梯度下降法求得，局部最优解是全局最优解；

λ_i是拉格朗日不定乘子，代表约束函数变化时，目标函数的变动；

所述状态为位置，所述动作为向某个方向移动；

所述无人自动小车包括控制装置、转向驱动装置以及移动驱动装置，所述控制装置为所述Sarsa安全模型。

2.如权利要求1所述的基于Sarsa安全模型的无人自动小车的控制方法，其特征在于，所述转向驱动装置和所述移动驱动装置均为伺服电机。