[发明专利]一种基于Sarsa安全模型的无人自动小车的控制方法

说明书

本发明公开了一种基于Sarsa安全模型的无人自动小车的控制方法，包括如下步骤：初始化，选择初始状态和初始动作；将初始状态置为当前状态，将初始动作置为当前动作；执行当前动作，无人自动小车进入下一状态并获得回报值；对约束函数进行线性处理；用拉格朗日乘数法求解无人自动小车处于下一状态时可执行的下一安全最优动作；完成Q值函数、状态空间和动作空间的更新。本发明将多维约束进行线性化，可以保证状态‑动作值函数和约束函数可求导，并且避免在求解过程中无人自动小车无法获得最佳动作，然后采用拉格朗日乘数法进行求解，提高了无人自动小车在当前状态下选择安全最优动作的效率和精确度。

技术领域

本发明涉及人工智能及控制技术领域，具体涉及一种基于Sars a安全模型的无人自动小车的控制方法。

背景技术

无人自动小车可以应用于工厂中重物的搬运、餐厅送菜以及解决快递最后一公里的配送问题等。无人自动小车在工厂中可以用于搬运危险易碎、重量或体积较大的物品，这不仅可以提高工厂的运作效率，也减轻了员工的劳动强度。无人自动小车在餐厅送菜和快递配送行业中的应用可以降低工作人员的工作强度，提高作业的效率，提高客户的满意度。然而实际应用中对无人自动小车在复杂任务场景中的安全要求越来越高。在实际应用中，无人自动小车需要躲避出现在任务路径上的障碍物。如何保证无人自动小车在完成复杂环境中任务的同时，合理规避路径上的障碍物以及突然出现的障碍物是问题研究的重点。

强化学习是智能体通过与环境进行交互，获得最大化的回报值及完成其他特定目标的一种方法。随着对强化学习的不断研究，强化学习逐渐应用在自动控制领域并取得了一定的成果，然而在基于强化学习的无人自动小车的应用中，保证无人自动小车的安全是一个关键问题。安全强化学习方法(safe reinforcement learning，简称SRL)是在强化学习方法的基础上进行设计的，可以用来解决无人自动小车的安全问题，该方法在无人自动小车学习决策的过程中最大化相关问题的期望回报值，并在无人自动小车的整个学习或调度的过程中确保合理的系统性能及满足安全约束。现有的安全强化学习方法在前期探索阶段需要无人自动小车不断的进入危险状态进行“试错式学习”，或者需要收集大量额外的环境信息以及专家指导。这不仅增加了无人自动小车的学习成本，并且在实际应用中，无人自动小车的很多损害是不可逆的，以往的方法没有彻底解决无人自动小车的安全问题，且表现难以令人满意。

发明内容

本发明的目的是提供一种基于Sarsa安全模型的无人自动小车的控制方法，可以确保无人自动小车在移动过程中躲避障碍物。

为实现上述发明目的，本发明提供以下的技术方案：一种基于Sarsa安全模型的无人自动小车的控制方法，包括如下步骤：

S1、初始化状态-动作值函数Q(x，u)，其中，u∈U(x)，获取步长α、回报值R、折扣因子γ、策略参数ε、权重参数β，初始化状态空间X和动作空间U，选择初始状态和初始动作；

S2将初始状态置为当前状态x，将初始动作置为当前动作u；

S3、执行当前动作u，无人自动小车进入下一状态x并获得回报值R；

S4、对约束函数进行线性处理；

S5、用拉格朗日乘数法求解无人自动小车处于下一状态x′时可执行的下一安全最优动作u^*；

S6、完成Q值函数、状态空间X和动作空间U的更新；

S7、判断下状态是否为目标状态，如是，则结束本次控制，如否，则进入步骤S8；

S8、将下一状态x置为当前状态x，将下一安全最优动作u^*置为当前动作u，回到步骤S3。

进一步的，Sarsa安全模型满足如下公式：

x′＝f(x，u)，表示无人自动小车处于当前状态x执行动作u后进入下一状态x′的概率。