[发明专利]基于双神经网络的深度学习多智能体微电网协同控制方法

说明书

本发明提供了一种基于双神经网络的深度学习多智能体协同控制方法，包括如下步骤：建立微电网的电压与频率控制模型；设计基于多智能体的深度强化学习框架：构建多智能体的强化学习的环境动作空间与状态空间以及奖励函数的马尔可夫决策过程；设计双神经网络的深度强化学习算法的流程，采用神经网络对定义的强化学习环境进行多次训练以达到奖励值的收敛，训练最优Q值；基于强化学习训练出的Q值，实现分布式电源的频率偏差调节，解决强化学习算法的高估问题以优化多智能体系统的稳定性。微电网系统进行对各分布式电源的相关操作，完成最优能量管理优化策略选择，实现微电网的协同控制。

技术领域

本发明涉及微电网频率控制技术领域，具体说是一种基于双神经网络的深度学习多智能体微电网协同控制方法。

背景技术

随着我国的经济快速发展，能源的消耗也逐年递增。而随着化石能源等非可再生能源的过度开采以及传统发电过程对环境的影响日益严重，我国为响应世界号召，大力发展风能、光能、生物能等可再生能源，不仅为环保作出重要贡献也为新型能源提供发展新方式。

目前，在微电网系统中，为了克服传统控制方法的缺陷，引入分布式控制，该策略是基于多智能体系统框架实现的，基于分布式发电的多智能体微电网依靠其独特的灵活性，周期短能源利用率高等优点得以广泛应用。如何通过微电网的形式并网运行或者单独运行以带来极高的经济收益，减小发电成本减少能量远距离传输的损耗是目前急需要解决的问题。

发明内容

(一)要解决的技术问题

本发明提供了一种基于双神经网络的深度学习多智能体微电网协同控制方法，以克服现有技术存在的发电成本高，能量损耗大等缺陷。

(二)技术方案

为解决上述问题，本发明提供一种基于双神经网络的深度学习多智能体微电网协同控制方法，包括如下步骤：

步骤S1、建立微电网的电压与频率控制模型；

步骤S2、通过采用深度强化学习框架下的微电网模型进行训练，寻找最优的Q值网络，包括具体步骤：

步骤S21、构建强化学习的环境状态空间：强化学习的环境为微电网系统，环境与智能体进行反馈奖励，以及微电网多智能体系统控制器的频率偏差状态构成状态空间的可控部分、每次调度的时间信息Δt构成状态空间的时间部分；

步骤S22、构建强化学习的环境动作空间：每次调度智能体频率偏差进行控制；

步骤S23、定义奖励函数：用来引导智能体实现预定微电网优化目标，；

步骤S24、设置储能系统后备控制器，使得可调度智能体与储能系统的智能体产生的动作不超出系统的功率范围；

步骤S3、建立双神经网络深度强化学习算法流程：采用神经网络对步骤S2中定义的强化学习环境进行多次训练以达到奖励值的收敛；

采用神经网络Q(s,a；ω)作为函数逼近器来对Q(s,a)函数进行估计；根据状态和动作的输入经过神经网络分析后得到动作的Q值，并选择最大Q值作为下一步的动作；

深度神经网络的权重ω表示系统状态到Q值的映射，定义损失函数Li(ω)来更新神经网络权重ω与对应的Q值：

L_i(ω_t)＝E_s[(y_t-Q(s,a；ω_t))²] 式(4)

其中y_t表示为目标函数：

通过对损失函数求梯度并执行随机梯度下降，来更新智能体的权重：