[发明专利]一种基于无模型强化学习的多阶段灵巧噪声干扰方法

摘要

本发明公开一种基于无模型强化学习的多阶段灵巧噪声干扰方法，应用于雷达技术领域，为了解决干扰机在针对敌方火控雷达干扰识别方法、抗干扰措施和工作模式转换规律等环境模型未知情况下的最优干扰功率分配问题，本发明首先将多阶段干扰功率分配问题建模成一个未知环境模型的马尔可夫决策过程；为了评估多阶段噪声干扰的性能，选择火控雷达的平均搜索‑锁定时间作为评价指标；其次分析了噪声干扰功率分配的原理，并针对未知环境模型的挑战，建立了多阶段干扰功率分配问题的强化学习框架；最后提出了一种基于Q‑learning算法的多阶段干扰功率分配方法；本发明方法有效解决了在实际应用中干扰功率的最优分配问题，提高了干扰成功率。

主权项

1.一种基于无模型强化学习的多阶段灵巧噪声干扰方法，其特征在于，包括以下步骤：S1、将多阶段干扰功率分配问题建模成未知环境模型的构建马尔科夫决策过程：具有自卫系统的目标飞机和具有FCR的飞机在各阶段不断进行对抗，直到目标飞机被锁定或者目标飞机成功逃脱则对抗结束；自卫干扰系统包括干扰机和RWR；在每个阶段，干扰机首先将接收到FCR发射出的波形进行波形特征提取，辨别出FCR的当前工作模式s_k∈S，S为FCR可能工作的模式，k表示阶段序号；然后干扰机选择一个与干扰功率相对应的干扰动作a_k∈A来实施灵巧噪声干扰，A为可能的干扰动作集合；最后，经历一个阶段后，自卫干扰系统将得到第k阶段的奖励t_k并且FCR切换到下一工作模式s_k+1，t_k为FCR在第k阶段所消耗的时间；S2、采用FCR的搜索‑锁定时间作为灵巧噪声干扰性能指标；S3、采用元组<S，A，Θ，ψ，δ>表示多级干扰功率分配问题的强化学习框架；其中，S为有限状态空间，对应于FCR的工作模式；A为有限动作空间，对应于干扰机可行的干扰动作空间；Θ为状态转移函数，对应于FCR不同工作模式之间的切换；ψ为奖励函数，对应于在当前状态FCR的消耗时间；δ为折扣因子，对应于干扰机对未来奖励的评估；S4、采用Q‑learning算法求解多阶段干扰功率的最优分配。