[发明专利]基于深度强化学习混合动作空间的氧气系统调度优化方法

说明书

本发明提供一种基于深度强化学习混合动作空间的氧气系统调度优化方法，包括如下步骤：氧气系统调度优化；基于drl的方法；结果和分析。本发明以深度强化学习为基础，提出了用于解决氧气系统调度问题的HAC算法，所提出的算法扩展了AC算法的actor网络，根据市场分时电价设计额外分段奖励函数。HAC算法解决了离散变量和连续变量的混合问题，在提高经济效益的同时实现节能减排。实验结果表明，HAC算法将调度问题置于混合的动作空间中，避免导致次优的动作选择的问题。与传统算法相比，HAC算法显著提高了算法的收敛性和准确性，使氧气系统具有更高的氧气利用率和经济效益。

技术领域

本发明涉及氧气系统调度优化，具体涉及一种基于深度强化学习混合动作空间的氧气系统调度优化方法。

背景技术

在钢铁制造过程中，氧气是不可缺少的能源消耗原料，用氧量频繁波动以及氧气供需失衡，易造成氧气利用效率低和能源浪费，增加了生产成本，因此氧气系统调度优化对钢铁企业提高经济效益至关重要。

钢铁企业氧气系统调度问题涉及对整个系统设备运行和氧气供需平衡的调度优化，既包含氧气量、时间等连续变量，又涉及机组开启等离散变量。这类离散-连续混合变量调度优化问题，系统复杂度高，问题难度大。其中，空分设备在氧气系统中起到了至关重要的作用，近年来，国内外许多学者对空分设备的生产调度进行了大量的研究。针对多套空分机组频繁变负荷运行的要求，Zhou等人建立了用于过程调度的混合整数线性规划(mixedinteger linear program，MILP)模型，提出了分离模式下的最优调度策略对机组运行模式进行决策，在一定时间段内优化了总利润率。Mitra等人将空分设备运行状态划分为不同模式，利用凸包法建立离散时间下的确定性混合整数线性规划(mixed integer linearprogram，MILP)模型，在模型复杂度较高的情况下具有较高的求解速度。然而空分机组间具有强耦合性和非线性，传统线性规划方法无法解决，因此Zou等人提出了松散耦合模型与控制变量优先级设置相结合的鲁棒控制策略，利用增量负载平衡计算方法来处理非线性，降低生产调度过程中能源消耗。Pattison and Baldea研究了在可变电价下以可变容量运行的空分设备的优化设计，提出了一种新的面向伪瞬态方程的过程建模框架，并将所开发的模型与基于时间松弛的优化算法结合使用。Morgan T.Kelley等人提出了一种数据驱动的方法，以历史闭环运行数据为基础，使用带有额外输入的自回归(autoregressive withextra inputs，ARX)模型，在工业空分装置上进行调度优化。空分机组各设备对整体系统调度也存在影响，研究单独设备的运行方式对系统整体调度具有重要意义。针对空分机组热集成空分塔(HIASC)的非线性行为，Fu和Liu设计了一系列非线性波动模型预测控制方案达到优化调度目标。Cao等人采用粒子群算法对液化器进行调度优化，降低了功耗从而减少了生产成本。