[发明专利]基于强化学习的多维连续型优化变量全局优化方法

权利要求书

1.基于强化学习的多维连续型优化变量全局优化方法，其特征在于：包括以下步骤：

步骤1：定义优化问题，明确优化变量、目标函数以及约束条件；建立用于存储历史数据集的数据结构，历史数据集中的元素为某一优化步下已知全部优化变量取值和目标函数值，该集合中的元素按照优化历史顺序排列；

步骤2：建立基于连续型优化变量取值优化算法和优化效果量化评估算法的强化学习环境，基本方法为通过批处理命令的方法将当前优化步之前的历史数据以步骤1建立的数据结构形式，以及待确定最优取值的一部分优化变量输入到强化学习环境，固定当前待确定最优取值的优化变量之外的其它优化变量的取值，再通过连续型优化变量取值优化算法确定当前待确定最优取值的优化变量的最优取值，该最优取值是在其它优化变量固定取最近一次优化后的取值，且考虑约束的情况下得到的，约束的考虑方法具体由所采取的连续型优化变量取值优化算法决定，只要保证优化后的取值满足优化问题的约束条件即可；再通过优化效果量化评估算法输出优化效果评估结果，优化效果量化评估算法应当根据具体优化问题综合考虑目标函数所有分量的取值，并给出标量型的量化评估结果；

步骤3：建立用于选择优化变量的强化学习算法，强化学习算法的输入为当前所有优化变量的取值，输出为小于优化变量总数的指定个数的优化变量，用于在下一步对这些优化变量进行取值优化；

步骤4：根据具体优化问题的目标函数和约束条件设置奖励函数，奖励函数的设置原则是当目标函数在优化期望方向获得提升时给予正向奖励，当约束违反时给予惩罚，具体奖励值与惩罚值依据具体问题对于优化与约束的期望情况确定，最终综合得到奖励函数值，用以表征优化效果以及对约束的满足程度，奖励函数的具体形式根据所采用的强化学习算法的要求确定，之后在步骤2所建立的强化学习环境中，通过强化学习训练方法不断更新步骤3所建立的强化学习算法中用到的参数，以利用强化学习优异的复杂环境智能寻优能力获取某一优化步应进一步参与小规模取值优化的优化变量，并在更新过程中提取针对指定优化问题的优化经验，并以强化学习算法参数的形式存储下来；对优化终止条件的设置应当权衡优化效果与优化所用时间，在允许的时间范围内尽可提高优化效果，例如对航空学中翼型进行升阻比优化时，如果对优化所用时间没有特殊要求，则应当设置为：在尽可能多次地进行强化学习与环境的交互过程后，升阻力均没有明显变化时停止优化过程，并选取优化效果以及对约束满足较好的结果作为最终结果；

步骤5：在实际使用强化学习算法进行优化时，利用步骤2所建立的强化学习环境，步骤3所建立的强化学习算法以及步骤4所获得的参数取值，通过强化学习算法不断挑选出一部分优化变量，送入取值优化器进行优化，直到优化结果满足所设定的优化终止条件。

2.根据权利要求1所述的基于强化学习的多维连续型优化变量全局优化方法，其特征在于：所述连续型优化变量取值优化算法为贝叶斯优化算法。

3.根据权利要求1所述的基于强化学习的多维连续型优化变量全局优化方法，其特征在于：所述强化学习算法采用的具体方法为基于值函数的方法Value-based Method、基于策略的方法Policy-based Method以及两者的结合方法Actor-Critic Method。