[发明专利]一种采用多种智能代理算法的电力市场混合仿真方法

权利要求书

1.一种采用多种智能代理算法的电力市场混合仿真方法，其特征在于：在电力市场仿真模型中，各代理Agent采用不同的智能代理算法，形成混合试验的仿真，各独立的代理Agent根据市场信息以自身收益最大化为目标选择竞标策略提交给交易中心，交易中心根据市场需求确定各代理Agent的发电量和电价，并将所需信息反馈给各代理Agent，各代理Agent根据反馈的结果再调整自身策略，如此循环，直至达到一个平衡的状态，具体步骤如下：

(1)建立电力市场仿真实验环境

电力市场仿真环境以实际电力系统为原型，建立仿真实验需要的物理电力系统，包括电厂分布等，在该电力系统上组织电力市场交易，搭建起电力市场仿真实验环境；

(2)电力市场仿真实验方案设计

电力市场仿真实验方案设计包括市场成员、市场模式、市场出清规则，确定参与市场竞价交易的成员，采用的市场模式，以及根据投标策略市场出清的规则等；

(3)电力市场成员投标策略设计

智能代理算法中各代理Agent代表着每个市场参与者，电力市场成员仿真采用的算法包括：智能代理算法和强化学习算法；

(4)电力市场仿真实验执行

实验设计完毕后，即可执行仿真实验；

(5)电力市场仿真实验分析

实验执行完毕后，对实验结果进行分析。

2.如权利要求1所述的方法，其特征在于：所述采用的市场模式包括单边市场、双边市场，所述根据投标策略市场出清的规则包括：边际电价出清和结算电价出清。

3.如权利要求1所述的方法，其特征在于：所述强化学习算法基于动物学习原理-条件反射，是指智能系统从环境到行为映射的学习，以使奖励信号函数值最大，由环境提供的强化信号是对产生动作的好坏作一种评价，而不是告诉强化学习系统RLS如何去产生正确的动作，目标函数中不存在梯度信息，故在强化学习网络中需要某种随机因素才能研究可能的输出空间并找到正确的输出值，所述强化学习算法有R-E算法、规则推理算法、Q学习算法和协同粒子群算法。

4.如权利要求1-3任一所述的方法，其特征在于：

(1)R-E算法

这个算法主要遵循三个基本原理：(1)按照被生物学广泛接受的“条件反射”原理：以前成功的行动总是在以后的行动中更容易被采用；(2)最近的经验比更远的经验更容易被采用；(3)学习的过程通常具备这样的过程：开始学习快速，后来则学习变化的速度减慢；

该算法可在不完全信息有限策略博弈中，即博弈参与人在不知道其他参与人的收益和决策的条件下，通过有限博弈策略寻找到唯一的贝叶斯纳什均衡.；R-E强化学习算法是一种自适应的学习方法，代理通过不断地与环境进行交互所得到的经验来进行学习，可以用这种算法来模拟不完全信息市场中发电商的策略报价过程；

(2)Q-learning算法

在Q-learning算法中，为了决定智能体在交易周期中使用探索和利用，引入了一个决策因子，基于智能体收益最大化的目标是否实现来更新行使探索或利用行动的概率；每个发电商智能体通过探索和利用来行使每次竞价交易的市场策略，通过比较目标收益，来决定是选择利用或探索。在探索过程中，智能体通过试错模式学习市场环境，如果探索使得收益增加，智能体将会增加行使探索行动的概率，否则行使利用行动的概率将会增加；

(3)规则推理型算法

规则推理型算法是一种启发式算法，它在一定程度上能够反映人追求更多利润的心理与机制，在实验中展现出很好的性能，是一种不可或缺的算法；规则推理型算法是根据代理报价曲线各容量段被收购与否的状况，来调整其相应容量段的报价，以期达到发电量与收益最大化；该算法运用前提为代理报价函数为分段梯形上升曲线，各个容量段的报价根据报出的价格递增；

(4)协同粒子群算法

电力市场仿真模型中各代理Agent代表着每个市场参与者，代理Agent应基于它本身的信息和对于市场环境的认识做出最优决策，整个电力市场仿真属于一个动态博弈过程。协同粒子群算法是将整个种群分解为若干个子种群，每个种群代表一个市场成员代理Agent，种群中每个粒子代表该发电公司的一个报价策略方案，各个子种群独立地用标准粒子群进化，达到周期时，更新全局最好位置；这样，各个子种群既能充分地在子种群内部不断地搜索，不会迷失自己的寻优方向，又能利用周期性地共享全局最好位置促使粒子找到最好值；协同进化在进化过程中既充分发挥每个个体的自主能动性，又在进化中通过协作或对抗进行相互学习和自我完善，从而达到整个群体协同进化的目的。