[发明专利]基于无模型强化学习的内燃机起动控制策略、控制系统及汽车

说明书

本发明涉及基于无模型强化学习的内燃机起动控制策略、控制系统及汽车，首先建立了内燃机起动系统框图，然后设计基于嵌入辅助轨迹的算法并应用，基于此设计了带有自适应控制器的内燃机起动系统结构，进一步更新设计了基于辅助轨迹的嵌入式神经网络算法并应用，最后给出了速度模块的方框图。本发明开发出一种不引入探测噪声的完全无模型算法，并且在内燃机起动系统的框架内保证了收敛性和稳定性，大大提高了系统的性能，改进了传统的无模型算法，并将其与强化学习算法结合起来，利用现代控制理论设计了一种具有最优自适应控制的系统，其更好地解决了内燃机起动问题。

技术领域

本发明属于内燃机起动技术领域，尤其涉及基于无模型强化学习的内燃机起动控制策略、控制系统及汽车。

背景技术

随着汽车技术的发展和国家政策的促进，混合动力内燃机也迎来了新一轮的发展，在内燃机控制领域中，内燃机速度控制是其中的一个基本问题。内燃机起动结构主要由进气歧管、喷油管、气缸等几部分组成，具有结构简单、工况相对稳定的特点，这也同时表明控制策略的优劣决定着起动性能的好坏，促进了控制策略的更新与发展。

近些年来，汽车起动技术在汽车冷启动与汽车怠速控制取得了突破性的进展，目前除了精确的稳态控制研究外，滑模控制、径向基函数网络控制等控制策略也被开发出来用于汽车起动。汽车起动中瞬态控制也是一个重要问题，为了改善发动机转速的瞬态性能，学者们先后开发出多变量算法、基于MPC技术的速度跟踪控制器等基于模型的方法。同时，基于无模型强化学习方法解决速度控制问题的方法也被开发出来，这种方法不需要掌握系统的数学模型，但也有其不足之处：

(1)在动力系统控制领域，需要激励持续性来保证学习参数的收敛性，而确保系统轨迹持续激励的典型技术是引入被称作探测噪声的外源信号，若将其直接作用于输入通道，将带来不必要的振荡；

(2)该算法的优劣很大程度上取决于激活函数的选取，若选取不恰当的激活函数，将会大大延长系统收敛的时间。

发明内容

为解决上述技术问题，本发明提供一种基于无模型强化学习的内燃机起动控制策略，其加快了内燃机起动的响应时间，避免了系统的无界响应，提高了发动机转速的控制精度。

本发明通过如下技术方案实现：

一种基于无模型强化学习的内燃机起动控制策略，包括以下步骤：

步骤1、建立内燃机起动系统框图，用于确认被控系统的输入输出量及其对应关系；

步骤2、应用基于嵌入辅助轨迹的算法更新代价函数与控制策略；

所述的嵌入辅助轨迹的算法如下：

及

其中T₁与T₂为大于0的时间常数，且：

步骤3、应用带有自适应控制器的内燃机起动系统结构分析各个物理量之间的相互关系及算分与被控系统之间的联系；

步骤4、应用基于辅助轨迹的嵌入式神经网络算法通过迭代权重系数取代直接迭代控制策略与代价函数；

所述的基于辅助轨迹的神经网络算法如下：

其中

步骤5、设计速度模块的方框图。

进一步的，步骤1包括以下内容：