[发明专利]基于DQN算法的雷达抗干扰智能决策方法

说明书

本发明公开了一种基于DQN算法的雷达抗干扰智能决策方法，主要用于用于解决Q学习方法人工分离信号特征识别信号、处理步骤复杂、计算量很大，导致的选择效率低、准确率低、稳定性差、不能处理大数据级任务的问题，其实现步骤为：(1)干扰机发射一种有源干扰信号；(2)雷达识别其所接收的有源信号的类型；(3)构建两个卷积神经网络；(4)生成雷达状态矩阵；(5)构建损失函数；(6)训练估计值网络；(7)使用DQN算法选择最佳抗干扰方法。本发明能有效针对有源干扰信号选择最佳的抗干扰方法，具有实时性强、准确率高、稳定性好的优点，可用于有源干扰信号对应的最佳抗干扰方法的智能选择。

技术领域

本发明属于雷达技术领域，更进一步涉及雷达抗干扰技术领域中的一种基于深度Q网络DQN(Deep Q Network)算法的雷达抗干扰智能决策方法。本发明利用DQN算法对某种雷达有源干扰，选择出最佳的抗干扰技术的方法，实现有效抗干扰。

背景技术

传统雷达对作战环境的感知能力已无法满足现实需要，同时，雷达抗干扰方式主要依靠人工预选抗干扰方法，无法快速地应对复杂的干扰场景并对战场情况快速反应。操作人员依据雷达显示结果并结合自身经验判定雷达受到干扰的状况，然后在预制的抗干扰方案中选择的，雷达本身不具备完成这样一组抗干扰动作的能力，即严重依赖人员，智能化程度低。

河海大学在其申请的专利文献“一种基于Q-学习的雷达抗干扰方法及系统”(专利申请号201910811779.8，申请公布号CN 110515045 A)中公开了一种基于Q学习算法选择最佳的雷达抗干扰技术的方法。该方法实现的具体步骤是，首先，将雷达接收到的干扰信号作为干扰状态集合，将不同自适应抗干扰方法作为动作集合；其次，将状态动作价值函数作为评价函数，建立强化学习模型；最后，利用Q-学习算法从抗干扰技术集合中选择最佳的雷达抗干扰技术。该方法存在的不足之处是，使用简单值迭代方式更新Q值导致Q值过估计，造成雷达抗干扰效果差，另外，利用Q-学习算法选择最佳抗干扰方法时，依据过估计的Q值选择抗干扰方法，导致选择准确率和选择效率都比较低，稳定性比较差。

邢强、贾鑫和朱卫纲在其发表的论文“基于Q-学习的智能雷达对抗”(系统工程与电子技术，2018,5,1030-05)中提出了一种利用Q学习算法的多功能雷达选择最佳抗干扰技术的方法。该方法实现的具体步骤是，首先利用雷达接收机接收干扰信号，并采用人工分离信号特征；然后，对处理后的干扰信号进行识别；最后根据当前的雷达状态自主合成干扰样式作为最佳的抗干扰方法。该方法存在的不足之处是，由于采用人工分离信号特征识别信号，处理步骤复杂，计算量很大，导致选择最佳抗干扰时，选择最佳抗干扰方法速度慢，不能处理大数据级任务。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于DQN算法的雷达抗干扰智能决策方法，用于解决Q学习方法人工分离信号特征识别信号、处理步骤复杂、计算量很大，导致的选择效率低、准确率低、稳定性差、不能处理大数据级任务的问题。

实现本发明目的的思路是：构建估计值网络和目标值网络，将雷达状态矩阵输入到两个卷积神经网络，使其自主处理数据，得到两个网络输出的收敛矩阵，解决现有技术的Q学习方法无法解决大数据级决策任务的问题。利用贪婪算法选出收敛矩阵中的最大收敛值，从抗干扰方法库中选出最大收敛值对应的最佳抗干扰方法，进一步提高了最佳抗干扰方法的选择正确率和稳定性。

实现本发明目的的技术方案包括如下步骤：

(1)干扰机发射一种有源干扰信号；

(2)雷达识别其所接收的有源信号的类型；

(3)构建两个卷积神经网络：

(3a)搭建一个由输入层、卷积层、池化层，输出层构成的估计值网络，网络权重参数w初始化为0.01，偏置参数初始化为0；

(3b)搭建一个由输入层、卷积层、池化层，输出层构成的目标值网络，网络权重参数w初始化为0.01，偏置参数初始化为0；