[发明专利]基于具有时间隧道思想的多智能体强化学习的智能发电控制方法

权利要求书

1.基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于包括以下步骤：

步骤1、确定状态离散集S；

步骤2、确定联合动作离散集A；

步骤3、在每个控制周期开始时，采集各个电网的实时运行数据，所述实时运行数据包括频率偏差Δf和功率偏差ΔP，计算各个区域控制误差ACE_i(k)的瞬时值与控制性能标准CPS_i(k)的瞬时值，根据混合策略集合π(s_k,a_k)选择搜索动作a_k；

步骤4、在当前状态s，某区域电网i获得一个短期的奖励函数信号R_i(k)；

步骤5、通过计算与估计获得值函数误差ρ_k、δ_k；

步骤6、对所有区域电网，更新所有状态-动作(s,a)对应的Q函数表格和时间隧道矩阵e(s_k,a_k)；

步骤7、更新的Q值和更新当前状态s下的混合策略合策略π(s_k,a_k)；

步骤8、接着更新时间隧道元素e(s_k,a_k)；

步骤9、选择变学习率

步骤10、根据函数更新决策改变率Δ(s_k,a_k)和决策空间估计斜率Δ²(s_k,a_k)；

步骤11、返回步骤3。

2.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤1的状态离散集S，通过控制性能标准CPS和区域控制误差ACE值的划分来确定。

3.根据权利要求1所述基于具有时间隧道思想的多智能体强化学习的智能发电控制方法，其特征在于：所述步骤2的联合动作离散集A的表达式为：

A＝A₁×A₂×…×A_i×…×A_n

其中，A_i为智能体i的输出离散动作集，n为智能体个数。