[发明专利]基于强化学习的多维连续型优化变量全局优化方法

说明书

本发明公开了一种基于强化学习的多维连续型优化变量全局优化方法，该方法包括：强化学习环境的建立；利用强化学习方法在指定优化变量集中选择指定个数的优化变量，然后再对其取值利用连续型优化变量优化算法进行优化的顺序优化策略；优化总体流程以及约束的引入方法。该方法针对多维连续型优化变量全局优化问题，实现了智能优化的目的，并且可以突破传统全局优化方法对优化变量个数的限制，使人工智能技术在优化方面的广泛应用成为了可能。可以应用于具有极大规模设计变量的工业设计、制造加工、控制优化、投资决策、系统工程等场合；并且得益于深度强化学习强大的智能组合优化能力，对于变量间存在复杂耦合关系的系统也有很好的全局优化效果。

技术领域

本发明属于优化算法领域，特别涉及大规模连续取值型优化变量的全局优化方法。

背景技术

优化方法可以基本分为两大类：基于梯度的优化方法以及全局优化方法。基于梯度的方法对于单极值问题的优化效率很高，但工程实际等场合中大多需要处理复杂的多极值问题，而且基于梯度的方法容易陷入局部最优，不能较好地满足优化需求。传统全局优化方法主要包括遗传算法、粒子群算法等，这类方法具有较好的全局寻优能力，可以适用于复杂的多极值优化问题。然而传统全局优化算法对优化变量的个数有限制，无法处理具有大规模优化变量的优化问题，优化变量个数一般只能限制在20个左右。考虑到这些方法一般会与代理模型(如响应面、Kriging等)结合，而构建包含多个优化变量的高精度代理模型也是十分困难和耗时的。因此对于具有大规模设计变量的工业设计、制造加工、控制优化、投资决策、系统工程等场合，传统全局优化算法的实际应用价值较低。另外，传统全局优化算法收敛速度缓慢难以直接运用于具有复杂作用机制的环境中，比如耗时的高精度流体仿真等场合。此外，现有的主流方法需要一定程度的经验作为指导，比如智能算法中初始种群的选取、算法参数的设置等，无法实现全自动优化，降低了优化效率。

因此，发展一种具有广泛适用范围，有较强全局寻优能力、收敛速度快，且能处理大规模优化变量，并尽可能实现无人工参与的智能优化算法是必要、并具有广泛需求的。

发明内容

为了解决现有全局优化算法无法支持大规模优化变量，且收敛速度较慢的问题，本发明提出一种基于强化学习的多维连续型优化变量全局优化方法，该优化方法在实际优化过程中可以实现较高程度的智能优化，无需或只需要较少的人工干预，进一步提高了优化效率。

为了达到上述目的，本发明采用如下技术方案：

基于强化学习的多维连续型优化变量全局优化方法，包括以下步骤：

步骤1：定义优化问题，明确优化变量、目标函数以及约束条件；建立用于存储历史数据集的数据结构，历史数据集中的元素为某一优化步下已知全部优化变量取值和目标函数值，该集合中的元素按照优化历史顺序排列；

步骤2：建立基于连续型优化变量取值优化算法和优化效果量化评估算法的强化学习环境，基本方法为通过批处理命令的方法将当前优化步之前的历史数据以步骤1建立的数据结构形式，以及待确定最优取值的一部分优化变量输入到强化学习环境，固定当前待确定最优取值的优化变量之外的其它优化变量的取值，再通过贝叶斯优化算法或其它连续型优化变量取值优化算法确定当前待定优化变量的最优取值，该最优取值是在其它优化变量固定取最近一次优化后的取值，且考虑约束的情况下得到的，约束的考虑方法具体由所采取的连续型优化变量取值优化算法决定，只要保证优化后的取值满足优化问题的约束条件即可；再通过优化效果量化评估算法输出优化效果评估结果，优化效果量化评估算法应当根据具体优化问题综合考虑目标函数所有分量的取值，并给出标量型的量化评估结果。