[发明专利]一种基于强化学习的目标追踪的训练方法、追踪方法

权利要求书

1.一种基于强化学习的目标追踪训练方法，其特征在于，包括：

S1、构建状态价值函数估计器网络和策略网络结构；

S2、初始化状态价值函数估计器网络和策略网络结构；

S3、利用策略网络和环境交互生成状态数据、动作数据，并计算奖励回报；

所述奖励回报的计算式为：

r(s_t,a_t)＝func1(dis_t)-func1(dis_t+1)+Angle_t+1-Angle_t

式中，dis_t、dis_t+1分别表示在t、t+1时刻追踪方和被追踪方的相对距离，Angle_t、Angle_t+1分别表示在t、t+1时刻的追踪方和被追踪方的速度方向的相对角度；func1是相对距离的分段线性函数；

S4、利用所述状态数据、动作数据和增加正则项的损失函数训练所述策略网络和状态价值函数估计器网络，用训练产生的参数更新策略网络和状态价值函数估计器网络；

S5、利用更新以后的策略网络在环境中做测试，如果追踪方和被追踪方的相对距离能到第一限定距离以内，则进行S6，否则重复S3-S4直到追踪距离到第一限定距离以内；

S6、保存当前的策略网络的策略为追踪方前期策略，并固定该策略；

S7、采集追踪方和被追踪方的相对距离在阈值距离以内的状态数据和动作数据作为第二数据；

S8、利用所述第二数据在当前训练基础上继续训练策略网络和状态价值函数估计器网络；

S9、测试策略网络，如果追踪方和被追踪方的相对距离降到第二限定距离以内，则保存当前的策略网络的策略为追踪方后期策略，否则继续重复S7-S8；

其中，第二限定距离第一限定距离阈值距离初始距离；

所述增加正则项的损失函数表示为：

loss_actor＝ζ₁|a_i-a_i-1|+ζ₂|2a_i-a_i-1-a_i+1|+ζ₃|a₀-0|+ppo_actor_loss

a_i表示在时间步i网络输出的加速度，|a_i-a_i-1|表示加速度的一阶导数，|2a_i–a_i-1–a_i+1|表示加速度的二阶导数，|a₀-0|表示初始的加速度；ppo_actor_loss为传统ppo算法的损失函数；ζ₁，ζ₂，ζ₃分别表示对加速度的一阶导数的平滑程度，加速度的二阶导数的平滑程度，初始加速度的平滑程度，平滑程度的值越大，平滑程度越大。

2.根据权利要求1所述的方法，其特征在于，所述状态价值函数估计器网络结构和策略网络结构，均使用三层全连接结构，并在每一个全连接层的输出添加数据优化层。

3.根据权利要求1所述的方法，其特征在于，

所述状态价值函数估计器网络结构的输入是当前的状态数据，输出是对应的价值函数；

所述策略网络结构的输入是当前的状态数据，输出是动作数据。

4.根据权利要求1所述的方法，其特征在于，所述状态数据包括：追踪方和被追踪方在三维空间中的相对位置和相对速度，追踪方目前的海拔高度、声速、大气密度，追踪方和被追踪方的相对速度偏角。

5.根据权利要求1所述的方法，其特征在于，所述动作数据为追踪方的垂直于当前速度的平面上的加速度。