[发明专利]基于无模型强化学习的内燃机起动控制策略、控制系统及汽车

权利要求书

1.一种基于无模型强化学习的内燃机起动控制策略，其特征在于，包括以下步骤：

步骤1、建立内燃机起动系统框图，确认被控系统的输入输出量及其对应关系；

步骤2、应用基于嵌入辅助轨迹的算法更新代价函数与控制策略；

所述的嵌入辅助轨迹的算法如下：

其中T₁与T₂为大于0的时间常数，且：

步骤3、应用带有自适应控制器的内燃机起动系统结构分析被控系统中各个物理量之间的相互关系及控制量与被控系统各个物理量之间的联系；

步骤4、应用基于辅助轨迹的嵌入式神经网络算法通过迭代权重系数取代直接迭代控制策略与代价函数；

所述的基于辅助轨迹的神经网络算法如下：

其中

步骤5、设计速度模块的方框图。

2.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤1所述的内燃机起动系统框图建立过程如下：

将节气门开度k、喷油量F和通过节气门的混合气体流率设为内燃机起动系统，其中k和F为控制量，为上一时刻的混合气体流率；

由可得到节气门前混合气体流率

若已知上一时刻的进入气缸的混合气体流率

由可得到歧管内压强p，

若已知上一时刻发动机转速ω，则由可知当前气缸流率继而可得到节气门后流率

由可得到当前发动机转速ω。

3.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略，其特征在于，步骤2所述的基于嵌入辅助轨迹的算法设计过程如下：

将系统输入设定为发动机转速ω与歧管内压强p，定义误差状态量

其中，ω_d与p_d为发动机转速与压强的设定值；

内燃机起动过程是典型的连续仿射非线性控制过程，系统满足：

其中f(x)是系统内部动力学方程，g(x)是输入量到状态量的动力学方程，u为系统输入，令x＝[x₁,x₂]^T；

设计辅助系统如下所示：

其中x_a是辅助系统状态量，状态矩阵A是赫尔维茨矩阵，y是辅助系统输出，也是系统的辅助轨迹，该辅助轨迹将状态轨迹x(t)分成了两个不同的轨迹；

令增广系统的状态量X＝[x_a1,x_a2,x₁-y₁,x₂-y₂]，输出量Y＝[y₁,y₂,x₁-y₁,x₂-y₂]；则增广系统也可以表示为：

其中，

引入外部输入u_a(t)，即输入通道的输入值更新为：

其中为可迭代的控制策略，由此，增广矩阵可更新为：

联系增广系统得到更新后的基于嵌入辅助轨迹的算法：

及

其中T₁与T₂为大于0的时间常数，且：