[发明专利]基于深度强化学习的柔直系统直流母线电压控制方法及装置

说明书

本发明公开了一种基于深度强化学习的柔直系统直流母线电压控制方法及装置，该方法包括根据多端口背靠背柔性直流输电系统的拓扑结构，建立电压源换流器数学模型；采用基于深度强化学习的深度确定性策略梯度方法对所述电压源换流器数学模型进行电压外环控制；将电压外环控制得到的输出作为参考信号送入到电流内环中，基于反馈线性化滑模控制进行电流内环控制；采用电流内环的控制输出对电压源换流器开关进行控制，维持系统直流电压的稳定。该控制方法能够有效地提高控制系统的可靠性和鲁棒性。

技术领域

本发明涉及一种基于深度强化学习的柔直系统直流母线电压控制方法及装置，属于电力系统控制技术领域。

背景技术

随着我国能源转型的不断推进，大量分布式电源广泛接入配电网，给配电网带来了电压越限、功率失衡等问题。多端口背靠背柔性直流输电装置作为一种基于电力电子技术的新型装置，用来取代传统的联络开关，解决了传统的联络开关只有通和断两种状态，且存在开关次数限制的缺陷，为配电网的发展提供了新的方向。

电压源换流器(VSC)作为多端口背靠背柔性直流输电装置的核心部分，近些年发展十分迅速。现有VSC控制方法多采用双闭环PI控制，控制简单方便，但是PI参数较难整定，不能适配不同的环境，存在可靠性差和精度差等问题。直流侧电压的稳定是多端口背靠背柔性直流输电装置正常运行的前提，现有控制系统中具有直流母线电压波动较大以及动态响应效果不理想等问题。

发明内容

本发明的目的在于提供一种基于深度强化学习的柔直系统直流母线电压控制方法及装置，采用深度强化学习中的深度确定性策略梯度(Deep Deterministic PolicyGradient，DDPG)算法，为直流母线电压的稳定提供了一种无模型自适应控制方法，解决了PI等算法不能适配不同环境的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明实施例一方面提供一种基于深度强化学习的柔直系统直流母线电压控制方法，包括：

根据多端口背靠背柔性直流输电系统的拓扑结构，建立电压源换流器数学模型；

采用基于深度强化学习的深度确定性策略梯度方法对所述电压源换流器数学模型进行电压外环控制；

采用滑模控制方法对所述电压源换流器数学模型进行电流内环控制；所述电流内环控制以电压外环控制得到的输出作为参考信号；

采用电流内环的控制输出对电压源换流器开关进行控制。

进一步的，所述根据多端口背靠背柔性直流输电系统的拓扑结构，建立电压源换流器数学模型，包括：

其中，ω为交流系统相电压角频率，R为换流器交流侧电阻，L为换流器交流侧电感，U_sd和U_sq分别是电网侧电压d轴和q轴分量，U_rd和U_rq分别是电压源换流器交流侧电压d轴和q轴分量，i_d和i_q分别是电网侧电流d轴和q轴分量，t为时间；

当交流系统三相电压平衡时，满足：

其中，P和Q为电压源换流器端口有功和无功功率。

进一步的，所述采用基于深度强化学习的深度确定性策略梯度方法对所述电压源换流器数学模型进行电压外环控制，包括：

建立基于深度强化学习的深度神经网络；