[发明专利]基于深度强化学习的加速器束流轨道控制方法及系统

权利要求书

1.一种基于深度强化学习的加速器束流轨道控制方法，其特征在于，包括以下步骤：

步骤S11：在线获取所述加速器的束流轨道状态数据，采用通过深度强化学习方法预训练好的深度神经网络接收所述束流轨道状态数据，并输出用于控制所述加速器束流轨道的动作数据；其中，所述深度神经网络包括动作深度神经网络、目标动作深度神经网络、价值深度神经网络及目标价值深度神经网络；所述深度神经网络通过深度强化学习方法进行预训练的具体步骤包括：

步骤11-1，通过向动作深度神经网络提供所述起始束流轨道状态数据并进行前向传播得到校正器动作数据，将所述校正器动作数据附加噪声后输入到所述加速器模型并反馈下一束流轨道状态数据，根据所述下一束流轨道状态数据由奖励函数得到所述动作的奖励数据；将所述起始束流轨道状态数据、校正器动作数据、奖励数据及束流轨道的下一状态数据存入经验数据缓存中；

步骤11-2，从所述经验数据缓存中随机抽取得到批量经验数据，所述批量经验数据包含起始束流轨道状态数据集合、校正器动作数据集合、奖励数据集合及束流轨道下一状态数据集合；

步骤11-3，将所述束流轨道下一状态数据集合提供给目标动作深度神经网络并进行前向传播得到目标校正器动作，将所述目标校正器动作集合及所述束流轨道下一状态数据集合提供给目标价值深度神经网络并进行前向传播得到目标Q价值函数值，根据贝尔曼方程由所述目标Q价值函数值及所述奖励数据得到目标价值函数值；

步骤11-4，将所述起始束流轨道状态数据及所述校正器动作数据提供给价值深度神经网络并进行前向传播得到所述动作的Q价值函数值，将所述动作的Q价值函数值与所述目标价值函数值的误差进行反向传播，以更新所述价值深度神经网络的权重，再利用策略梯度更新动作深度神经网络；

步骤11-5，延迟设定时间步后将所述价值深度神经网络权重复制到所述目标价值深度神经网络，将所述动作深度神经网络权重复制到目标动作深度神经网络；

步骤11-6，根据以上步骤11-1至11-5迭代更新所述深度神经网络权重，直到所述深度神经网络达到收敛；

步骤S12：给所述深度神经网络加载其在预训练过程中获得的深度神经网络权重数据及轨道控制策略的经验数据，通过预测控制并进行在线强化学习调整控制参数将所述加速器的束流轨道稳定在目标状态。

2.根据权利要求1所述的方法，其特征在于，所述步骤S11中，所述通过深度强化学习方法预训练的深度神经网络是通过束流动力学模型仿真平台生成预训练数据，具体包括以下步骤：

利用束流动力学仿真平台构建所要控制的加速器模型；

在所述加速器模型上进行一系列的校正器动作，根据校正器动作数据及动作前起始束流轨道状态数据得到动作后束流轨道的下一状态数据，利用奖励函数得到所述动作的奖励数据；

将所述起始束流轨道状态数据、校正器动作数据、奖励数值及束流轨道的下一状态数据作为所述预训练数据。

3.根据权利要求1或2所述方法，其特征在于，所述利用奖励函数得到所述动作的奖励数据的步骤具体包括：

基于LQR问题构造奖励函数的形式；

将所述校正器动作数据、所述下一束流轨道状态数据及目标束流轨道状态数据代入所述奖励函数以得到所述奖励数据。

4.根据权利要求1所述的方法，其特征在于，所述将所述动作的Q价值函数值与目标价值函数值的误差进行反向传播中的反向传播过程是采用Adam随机梯度下降方法更新所述深度神经网络的权重。

5.根据权利要求1或2所述的方法，其特征在于，使用贪婪搜索算法产生所述校正器动作数据。

6.根据权利要求3所述的方法，其特征在于，使用贪婪搜索算法产生所述校正器动作数据。