[发明专利]一种控制永磁同步直线电机的方法及系统

权利要求书

1.一种控制永磁同步直线电机的方法，其特征在于，所述的方法具体包括如下步骤：

建立永磁直线电机数学模型；

通过深度确定性策略梯度方法对永磁同步直线电机的速度环进行自适应控制；

获得最优的强化学习代理，实现PID伺服系统的参数的自动调整。

2.根据权利要求1所述的一种控制永磁同步直线电机的方法，其特征在于，于步骤通过深度确定性策略梯度方法对永磁同步直线电机的速度环进行自适应控制中，还包括如下步骤：

通过actor-critic网络构建强化学习代理的框架；

以PID速度伺服系统为环境对象，获取激励函数的跟踪误差曲线；

实现PID参数自动调整；

具体地，PID控制器由以下方程设计：

其中，u(t)表示控制器t时刻输出信号，u(t-1)表示控制器t-1时刻输出信号，Δu(t)表示控制器输出增量，k_i,k_p,k_d分别表示比例、积分、微分系数，e(t)表示给定值与实际输出反馈值之差，e(t-1)表示上一时刻给定值与实际输出反馈值之差，e(t-2)表示上上时刻给定值与实际输出反馈值之差，Δe(t)表示当前时刻误差与上一时刻误差之差，Δe(t-1)表示上一时刻误差与上上时刻误差之差，Δ²e(t)＝Δe(t)-Δe(t-1)。

3.根据权利要求2所述的一种控制永磁同步直线电机的方法，其特征在于，于步骤通过actor-critic网络构建强化学习代理的框架中；

critic的动作值函数具体为：

Q(s_t,μ(s_t|θ^μ)|θ^Q) (2)

actor的动作值函数具体为：

μ(s_t|θ^μ) (3)

其中，θ^Q和θ^μ分别表示critic在线网络和actor在线网络的权重，s_t表示存储当前状态，μ表示actor在线网络策略，Q表示critic在线网络对μ策略的评估。

4.根据权利要求2所述的一种控制永磁同步直线电机的方法，其特征在于，于步骤通过actor-critic网络构建强化学习代理的框架中；

actor评估网络选择动作采用的函数为：

a_t＝[k_p,k_i,k_d]＝μ(s_t|θ^μ)+Noise (4)

其中，a_t代表t时刻代理执行的动作即t时刻k_i,k_p,k_d的值，k_i,k_p,k_d分别表示比例、积分、微分系数，μ表示actor在线网络策略，s_t表示存储当前状态，θ^μ代表actor在线网络的权重，Noise代表随机OU噪声。

5.根据权利要求1所述的一种控制永磁同步直线电机的方法，其特征在于，于步骤通过深度确定性策略梯度方法对永磁同步直线电机的速度环进行自适应控制中，还包括如下步骤：

从存储器中取出部分随机样本，进而进行训练更新目标网络；

具体的学习过程函数为：

其中，y_i代表目标网络，r_i代表在i学习过程中的回报值，s_i+1代表i+1时刻存储状态，分别代表目标权重，γ代表折扣因子。