[发明专利]基于深度强化学习的主动流动控制器及控制方法

说明书

本发明提供一种基于深度强化学习的抑制涡致振动的主动流动控制器及控制方法。本发明的主动流动控制器基于软决策者‑评估者(Soft Actor‑Critic)算法建立深度强化学习决策智能体，通过与流动环境不断交互，以输出鲁棒的实时控制策略。通过建立与圆柱横流向的涡致振动状态以及圆柱表面阻力相关的奖惩函数，动态学习和调整决策智能体中的人工神经网络权重，建立从流动环境速度、压力等流动状态到控制动作的映射关系，从而获得主动流动控制器。利用本发明的主动流动控制器控制圆柱横流向极点上对称安装的吸吹气装置，可以实现圆柱的振动抑制和减阻两个控制目标。

技术领域

本发明涉及一种基于深度强化学习的主动流动控制方法，通过决策智能体与流场环境不断交互，动态调整人工神经网络的参数，根据对数值模拟环境的流动状态观测，控制圆柱横流向极点上的吹吸装置，影响圆柱表面涡的脱落和流固耦合过程，从而达到抑制涡致振动和减阻的效果，属于主动流动控制领域。

背景技术

设计主动流动控制策略是一项繁琐的工作。相较于被动流动控制，主动流动控制的作动机构往往更加复杂。因此在设计主动流动控制策略时，设计者还需要设计一种高效鲁棒的负反馈控制策略去抵消作动机构带来的负担。相较于传统的风洞实验，计算流体动力学技术的出现已经为控制策略的探索提供了便利，但是由于流体力学的高维度和强非线性特性导致策略的探索需要大量的计算成本，目前大多数研究中的主动流动控制策略局限于简单的常量或者谐波输入，因此，需要为主动流动控制机构开发一种有效的控制策略探索方法，充分利用主动控制的控制可能性。

发明内容

本发明的目的是为了解决上述技术问题，提供了一种基于深度强化学习的主动流动控制方法。

本发明采用的技术方案如下：

一种基于深度强化学习的抑制涡致振动的主动流动控制器，所述主动流动控制器用于根据圆柱体周围的流场信息输出执行动作控制布置于圆柱体表面的吹吸装置。所述主动流动控制器由人工神经网络组成，通过如下方法训练获得：

步骤S1，构建包含主动流动控制器的决策智能体与涡致振动数值模拟环境。其中，所述涡致振动数值模拟环境用于实时模拟计算圆柱体在最大振动幅度时的流场信息；所述决策智能体中还包含评估者Critic，其中，主动流动控制器作为决策者用于根据圆柱体周围的流场信息输出控制策略，评估者用于根据流场环境信息输出当前状态下采取当前动作的好坏评价，评估者由人工神经网络组成。

步骤S2，涡致振动数值模拟环境模拟计算圆柱体在最大振动振幅条件下的流动情况，当非定常流动以及圆柱横流向运动情况呈现稳定周期性变化时，结束计算并选择其中对应圆柱体质心处于平衡点的时刻作为每一训练幕的初始情况。

步骤S3，开始训练，从每一训练幕的开始，涡致振动数值模拟环境按每个时间步的递进模拟流场变化过程，得到每个时刻的瞬时流场观测状态s_t。其中，数值模拟环境基于开源计算流体力学软件OpenFOAM平台搭建，考虑到运动边界条件，使用任意拉格朗日欧拉法在任意离散控制体内对控制方程进行离散求解，控制方程如下：

其中Sur是离散控制体的边界面，Vol是离散控制体，U_S是运动边界的速度，U是离散控制体内部的流场速度，ρ是流体密度，p是压强，v是流体粘性系数。当施加控制动作时，仅仅需要改变圆柱边缘处喷口位置的边界条件，使其对应输出的喷口速度，再求解该控制方程，即可获得流场内部的受控制条件下的流动状态(流体速度，压强)，也即数值模拟环境中的流场下一时刻的观测状态。