[发明专利]基于PPO算法的光伏发电太阳能电池板角度自动调整方法

说明书

本发明涉及人工智能领域，尤其涉及一种基于PPO算法的光伏发电太阳能电池板角度自动调整方法。根据传感器获取影响太阳能电池板发电效率的影响因素与太阳光之间的夹角；通过深度强化学习范式，利用强化学习PPO算法对太阳能电池板自动调整电压过程进行建模；然后对太阳能电池板发电过程设置一个对应的强化学习奖励函数；最后训练一个根据环境因素自动调整太阳能电池板角度的PPO算法模型；得到一套自适应调整太阳能电池板控制角度的电压控制策略，确保太阳能电池板发电效率最大化。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于PPO算法的光伏发电太阳能电池板角度自动调整方法。

背景技术

作为一种清洁、安全和可靠的新能源获取工具，光伏太阳能电池板发电对调节整个电力系统电压稳定、安全运行都有重要作用。在光伏太阳能电池板确定的情况下，各类环境因素，包括太阳辐射度、云团高度和厚度、天气状况都将影响太阳能电池板的发电效率。现有的方法主要通过计算机程序和太阳能光伏发电物理原理进行角度调整，然而这类方法一方面只能根据物理过程进行计算，缺乏对天气的观察和云团的实时状态处理，另外一方面是点对点的调节，无法形成一套长期的太阳能角度自动调整策略。

强化学习是一种通过智能体和环境不断交互学习的学习范式，其目的是获得一个最大的累计期望回报，目前已经成功的应用于很多领域，例如AlphoGo围棋、计算机机房空调控制。太阳能电池板角度自动调整问题是一个典型的控制问题，特别适合于强化学习这类交互学习策略的方法。PPO(Proximal Policy Optimization，近端策略优化)算法作为强化学习领域最知名的基准算法之一，在诸多连续和控制任务中取得了最优效果，有着广泛的应用基础。

发明内容

本发明的目的是针对上述现有技术中的不足，设计了一种基于PPO算法的光伏发电太阳能电池板角度自动调整方法，本发明中利用智能体和环境交互学习过程获得最优的角度控制策略来最大化发电效率。

为实现上述目的，本发明采用的技术方案具体步骤如下：

基于PPO算法的光伏发电太阳能电池板角度自动调整方法：

步骤1：根据传感器获取影响太阳能电池板发电效率的影响因素；

步骤2：根据深度强化学习范式，利用强化学习PPO算法对太阳能电池板自动调整电压过程进行建模；

步骤3：对太阳能电池板发电过程设置一个对应的强化学习奖励函数；

步骤4：训练一个根据环境因素自动调整太阳能电池板角度的PPO算法模型。

进一步地，步骤1中，所述的根据传感器获取影响太阳能电池板发电效率的影响因素，包括云团大小及厚度、光照辐射度、天气状况、太阳能电池板与太阳光之间的夹角，以及太阳能电池板水平方向、竖直方向的角度控制电压两个因素，且将获取的太阳能电池板发电影响因素作为强化学习的状态空间输入量，同时将太阳能电池板的调整方向：水平调整[-90°,90°]和竖直调整

[-90°,90°]作为动作空间，以太阳能电池板水平竖直方向调节角度对应的电压值作为强化学习智能体模型动作空间的输入量。

进一步地，步骤2中，所述利用强化学习PPO算法对太阳能电池板自动调整电压过程进行建模，是指将太阳能电池板发电影响因素、最终的发电量作为环境，通过深度强化学习技术进行建模，形成智能体与太阳能电池板环境的交互学习模型。

进一步地，步骤3中，所述的对太阳能电池板发电过程设置一个对应的强化学习奖励函数，是指根据影响太阳能发电因素以及发电量设置合理的奖励函数，指导强化学习算法PPO能够根据不同影响因素的影响程度及时的奖励模型，让模型能够收敛。

进一步地，所述的奖励函数以每分钟获得最大发电量值GP(GeneratingCapacity)作为主要奖励指标，数学表示为：