[发明专利]一种基于强化学习的电动汽车充放电策略优化方法

说明书

本发明公开了一种基于强化学习的电动汽车充放电策略优化方法，包括步骤：1)构建电动汽车电池充放电物理模型以及电动汽车调频收益计算方法；2)建立电力系统调频市场模型，包括电动汽车参与调频的市场参与形式以及调频机制的设计；3)运用强化学习算法对电动汽车参与调频市场进行训练学习；4)建立调频效益考评方案，由训练所得模型对电动汽车调频效益进行考评。本发明通过利用电动汽车可快速切换充放电模式的优点，将其视作调频服务提供者，通过聚合商参与到调频市场中，在满足自身充电需求的同时得到调频补偿，并将强化学习算法运用到充放电策略优化当中，得到了极好的调频效果。

技术领域

本发明涉及强化学习算法运用在电动汽车充放电策略优化的技术领域，尤其是指一种基于强化学习的电动汽车充放电策略优化方法。

背景技术

目前随着电力体制改革的进一步深化，电力市场的逐步建立健全，售电市场的培育形成，电力行业慢慢步入开放、活跃的市场环境中。在这种情况下，电力部门需要准确的对电能的供需进行实时的平衡，保证供电电能质量，尤其需要保证供电频率在安全、合理的范围内波动。电动汽车具有单向和双向两种能量传输形式，前者可通过改变电动汽车的充电功率来为系统提供服务，如平滑负荷曲线，后者不仅可以改变充电功率，还可以在必要时向系统反向送电以提供调频和旋转备用等辅助服务。因此，可利用电动汽车的储能特性为电力系统提供调频服务。近年来，得益于世界范围内智能电网技术的蓬勃发展和应用，大量高新技术被不断地引入到传统的电网当中，电力行业迎来一个崭新的时代。电动汽车的兴起促使其并网(Vehicle to grid,V2G)成为了必然的趋势，是一项较有发展前景的服务。同时，伴随着强化学习的兴起，出现了很多更优越的训练、学习算法，将这些新算法应用到电动汽车的集中充放电优化策略，为建设智能电网，建立电力市场调频市场中去，对电网经济可靠运行和算法本身的开发都具备重大的意义。

本发明提出一种基于强化学习的电动汽车充放电策略优化方法，构建了电动汽车电池充放电模型及电动汽车车主调频收益计算方法，在电动汽车提供调频辅助服务的同时，不仅能满足电动汽车的充电需求，还对提供调频服务的电动汽车车主提供调频补贴。并将强化学习算法运用到电动汽车在调频市场中提供调频服务的电池充放电优化策略，从而达到理想的调频结果。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于强化学习的电动汽车充放电策略优化方法，突破传统的电动汽车单相能量传输形式的不足，充分利用电动汽车可在短时间内进行双向能量传输的特点，利用电动汽车提供调频服务，并利用强化学习算法对其充放电策略进行优化，达到了非常理想的调频效果。

为实现上述目的，本发明所提供的技术方案为：一种基于强化学习的电动汽车充放电策略优化方法，所述电动汽车充放电策略是在电力市场环境下，将统一停放在工业园区停车场内的电动汽车视为可控负荷，以可控负荷的形式参与调频市场，其工作模式分为两种：在电力系统运营频率偏低，系统操作员发出频率上调信号时，电动汽车放电以提供电能，在供电充足时，电动汽车充电存储电能，两种模式下电动汽车的出行需求都得到了满足，同时，车主能够获得相应的补贴，其包括以下步骤：

1)构建电动汽车(Electric vehicles)电池充放电物理模型以及电动汽车调频收益计算方法；

2)建立电力系统调频市场(Frequency regulation market)模型，包括电动汽车参与调频的市场参与形式以及调频机制的设计；

3)运用强化学习(Reinforcement learning)算法对电动汽车参与调频市场进行训练学习；

4)建立调频效益考评方案，由训练所得模型对电动汽车调频效益进行考评。