[发明专利]基于强化学习的微电网电能分配方法

权利要求书

1.基于强化学习的微电网电能分配方法，其特征在于包括以下步骤：

1)设置：

N个微电网用户MG和一个发电厂PP；

微电网用户之间的买的价格ρ^-、卖的价格ρ⁺以及微电网用户和发电厂PP之间的买的价格卖的价格

微电网用户MG最大储能值E和一次交易的最大交易值M；

微电网各电能值的增益g；

2)微电网用户MG_x初始化学习因子γ、折扣因子β和最大时隙m，选择最优动作的概率p，设置Q值表、V值表值为0；

3)微电网用户MG_x在k时隙的状态s，并根据Q值表，选择最优行为a_x；

4)微电网用户MG_y在k时隙的状态s，根据greedy策略选择可行交易行为下所能达到最大效益值的行为a_y；

5)微电网用户MG_x观察其他微电网用户当前时隙所采用行为a_y，结合自身的行为a_x与MG_y进行交易，并计算本次信息传输的即时回报u_x；

6)更新微电网用户MG_x的状态以及强化学习下Q学习算法的Q值表、V值表；

7)微电网用户MG_x重复步骤3)-6)，直到找到最优策略。

2.如权利要求1所述基于强化学习的微电网电能分配方法，其特征在于在步骤1)中，所述N为3，3个微电网用户分两类：采用强化学习下Q学习方法的微电网用户MG_x和其他2个用户，统称为用户MG_y，发电厂PP无论何时都与微电网进行交易，为促进微电网用户MG之间进行交易，设置即能保证优先与MG_y进行交易，在MG_y不可用情况下与PP交易；所述微电网用户MG最大储能值E和最大交易值M分别为E＝10，M＝2，各个电量值增益g＝[1,2.25,4,4.15,4.25,4.35,4.45,4.55,5.26,6.65]表示电量值变化，采取的交易值a具体含义如下公式所示：

3.如权利要求1所述基于强化学习的微电网电能分配方法，其特征在于在步骤2)中，所述Q值表是一个二维矩阵Q(S_x,A_x)，其中S_x是一个非空集合，表示微电网用户MG_x的所有可能状态集合，A_x表示MG_x所有可能行为的集合；所述V值表是一个一维向量，表示在每个状态s_x∈S下的最大Q值，即

4.如权利要求1所述基于强化学习的微电网电能分配方法，其特征在于在步骤3)中，所述状态s_x包括MG_x当前电量值以及观察到MG_y采取的动作a_y，即微电网MG_x的状态s_x＝(Store_x,a_y)，Store_x∈Store＝{1,...,E},采取的动作即交易值a_y∈A_y，A_y表示MG_y所有可能行为的集合；所述最优行为表示的是在当前状态s_x下，按照使得值函数Q(s_x,a_x)最大的行为a_x，即

5.如权利要求1所述基于强化学习的微电网电能分配方法，其特征在于在步骤4)中，所述可行交易行为是指当前状态下MG_y根据greedy策略和最优选择概率p选择所有可行动作值中所达到最大效益值的动作a_y。