[发明专利]一种基于深度强化学习和迁移学习的增升装置优化方法

说明书

本发明公开一种基于深度强化学习和迁移学习的增升装置优化方法，将深度强化学习方法引入至增升装置的起降构型优化设计中，同时利用迁移学习预训练的方式，搭建起二维优化结果和三维优化的关系，从而有效地利用二维优化的结果来加速三维优化效率。本发明结合二维计算快、三维计算准的特点，从算法层面上搭建起二者衔接的桥梁，提供一种高效率又精准的优化方法。

技术领域

本发明属于飞机设计领域，提出一种基于深度强化学习和迁移学习的增升装置优化方法。

背景技术

大型飞机起降阶段增升装置的优化设计，可以提升飞机的经济性和安全性，是关键技术。增升装置的流动机理复杂，难以通过理论推导求解。而计算流体力学手段，一套三维三段翼的翼身组合体网格至少在百万甚至千万以上，需要消耗大量的计算资源和时间，因此对优化算法的效率有较高要求。目前常用的优化算法以启发式算法为主，其中又以遗传算法为代表被广泛应用，但其只针对纯二维优化或三维优化，前者虽然计算速度较快，但性能与真实流动存在差异，只能在一些假设下通过物理方程推导二维和三维的流动关系，具有局限性。而纯三维优化对计算资源和时间的占用相当大；且二维优化结果无法为三维优化提供指导。目前增升装置朝着简单形式的方向发展，其设计目标包括但不限于气动、机构、结构、噪声、重量、可靠性等多方面因素，是个典型的多学科交叉耦合设计问题，这对优化方法又是个极大的挑战。目前人工智能技术得到了大量发展，其中深度强化学习，结合了深度学习的表征能力和强化学习的决策能力，正越来越在多领域内发挥重要作用。

发明内容

针对上述问题，本发明提出一种基于深度强化学习和迁移学习的增升装置优化方法，旨在结合二维计算快、三维计算准的特点，从算法层面上搭建起二者衔接的桥梁，是一种高效率又精准的优化方法。

本发明基于深度强化学习和迁移学习的增升装置优化方法，具体过程如下：

A、二维优化阶段

步骤1：给定目标值函数；对于单目标优化，优化目标直接视为目标值，对于多目标优化，采用线性加权的方式将其转化为单目标；

步骤2：建立智能体，包含在线演员网络和在线评论家网络，以及目标演员网络和目标评论家网络；在线演员神经网络和在线评论家网络内部参数采用正交随机初始化。

步骤3：建立空的经验池，将当前增升装置参数输入给在线演员神经网络，其输出决策，即新构型增升装置参数。

步骤4：计算新构型增升装置气动性能；

步骤5：根据气动性能计算奖励函数得到奖励值；

步骤6：将状态、动作、奖励值序列存入经验池中；其中状态值为旧构型增生装置参数，动作值为新构型增升装置参数。

步骤7：从当前的经验池中随机取出经验轨迹，分别训练在线评论家网络和在线演员网络，并更新目标演员网络和目标评论家网络。

步骤8：用新构型增升装置参数更新旧构型增升装置参数；

步骤9：重复步骤3至8，直到目标值函数满足优化要求，或达到最大优化循环。

B、三维优化阶段

三维优化阶段整体过程与二维类似，同样包括前述步骤1至步骤9，区别在于：步骤2中采用迁移学习中预训练的方法优化在线网络参数采用二维优化的结果参数；

在步骤3中，初始位置参数设置为二维优化的最优解。

本发明的优点在于：

1、本发明基于深度强化学习和迁移学习的增升装置优化方法，将深度强化学习方法引入至增升装置的起降构型优化设计中，提出一种不同于常见启发式算法的优化方式。