[发明专利]一种基于强化学习的目标追踪的训练方法、追踪方法

说明书

本发明实施例公开一种基于强化学习的目标追踪的训练方法、追踪方法。本发明实施例的基于强化学习的目标追踪训练方法，在传统ppo算法的策略网络损失函数上增加正则项对状态价值函数估计器网络和策略网络进行训练，强化学习的训练过程分为两个阶段，在第一阶段训练强化学习前期的策略，在第二阶段只采集设置好的阈值距离之内的数据进行训练，使近距离下的控制更加精确。本发明利用强化学习的方法不需要显式的预测未来时刻目标的加速度，只要知道了高速目标历史时刻的加速度状态，利用仿真环境中大量数据的训练以及正确的训练方法，可训练出一个合理的追击策略。解决了目标追踪的模型给出的加速度波动过大以及最终的训练精度不够的问题。

技术领域

本发明涉及目标追踪领域。更具体地，涉及一种基于强化学习的目标追踪的训练方法、追踪方法、存储介质和计算机设备。

背景技术

高速目标的追击问题，问题定义：三维空间中有一个高速目标A(被追踪方)在飞行，现在需要控制另一高速目标B(追踪方)的加速度，使其能够追击到高速目标A。

有一些传统的基于滤波的方法也可以实现整个追击的过程，比如追踪法、平行接近法、三点法、比例导引法等，但是这些方法有着共同的弊端就是需要对高速目标A完整的建模，需要知道高速目标A实时的位置速度加速度信息，以及未来所有时刻的加速度信息。也就是说，未来任意一个时刻高速目标A的位置都是可以直接计算出来的。但是在对抗的情况下，高速目标A如果不希望高速目标B能够追击到他，那么这个未来时刻的加速度显然是无法预知的，在这种情况下，传统方法只能通过大量的估计近似方法来预知未来高速目标A的加速度情况，这就导致了传统方法的追击精度很大程度上依赖于近似算法的精度。

发明内容

有鉴于此，本发明第一个实施例提供一种基于强化学习的目标追踪训练方法，包括：

S1、构建状态价值函数估计器网络和策略网络结构；

S2、初始化状态价值函数估计器网络和策略网络结构；

S3、利用策略网络和环境交互生成状态数据、动作数据，并计算奖励回报；

S4、利用所述状态数据、动作数据和增加正则项的损失函数训练所述策略网络和状态价值函数估计器网络，用训练产生的参数更新策略网络和状态价值函数估计器网络；

S5、利用更新以后的策略网络在环境中做测试，如果最后追踪方和被追踪方的相对距离到了第一限定距离以内，则进行S6，否则重复S3-S4直到追踪距离到第一限定距离以内；

S6、保存当前的策略网络的策略为追踪方前期策略，并固定该策略；

S7、采集追踪方和被追踪方的相对距离在阈值距离以内的状态数据和动作数据作为第二数据；

S8、利用所述第二数据在当前训练基础上继续训练策略网络和状态价值函数估计器网络；

S9、测试策略网络，如果追踪方和被追踪方的相对距离降到第二限定距离以内，则保存当前的策略网络的策略为追踪方后期策略，否则继续重复S7-S8；

其中，第二限定距离第一限定距离阈值距离初始距离；

所述增加正则项的损失函数表示为：

loss_actor＝ζ₁|a_i-a_i-1|+ζ₂|2a_i-a_i-1-a_i+1|+ζ₃|a₀-0|+ppo_actor_loss