[发明专利]一种基于PPER-DQN的双变跳频图案智能决策方法

说明书

本发明公开了一种基于PPER‑DQN的双变跳频图案智能决策方法。针对待优化的双变跳频图案的主要参数，设计了相应的系统模型、状态‑动作空间和奖励函数，采用DQN算法进行决策，使用户的使用频段能出现在可用频段内的任意位置，从而提高跳频图案的灵活性。根据Pareto支配的定义提出以样本的时序差分误差和立即奖励为依据的样本优先经验回放技术，以提高样本利用率和经验回放效率。使用Pareto样本集和随机采样的样本形成训练集，以保证训练集样本多样性。本发明方法有效提高了经验回放效率和收敛速度，产生的双变跳频图案较常规跳频图案性能更优。

技术领域

本发明属于跳频通信中智能抗干扰决策领域，特别涉及一种利用结合了优先经验回放方法和Pareto理论的深度Q网络(Deep QNetwork，DQN)对双变跳频图案进行参数调整的智能抗干扰决策方法。

背景技术

较传统通信系统，跳频通信系统具有跳频频率集、跳频速率等对系统性能影响极大的参数。根据这些参数，用户能实现通信过程中的频率跳变，从而达到抗干扰和抗截获的目的。但是，传统跳频通信中的参数并不会随着环境变化，这导致在日益复杂的电磁环境和逐渐智能化的人为干扰的影响下，其优势难以体现。

性能优异的跳频图案能有效规避干扰，显著提高抗干扰性能，提高用户的通信质量。目前关于跳频图案的研究大多是先进行频谱感知，再在未被干扰的频段设计跳频图案，且设计重点集中于各种伪随机序列及其改进和加密方面。然而，在复杂电磁环境中，无法保证时刻进行准确地感知且未被干扰的频段较少，这将极大程度的限制跳频图案的性能。有研究表明变跳速、变间隔跳频通信技术增加了干扰方信号分析的难度，可有效提高系统抗跟踪干扰、梳状干扰、阻塞干扰和抗截获的能力，同时还具备与频率自适应、功率自适应等技术结合的潜力，从而进一步提升抗干扰能力。由此可见，跳频图案参数智能决策对提升跳频通信系统的抗干扰性能具有重要意义。

Q-Learning通过Agent与环境不断进行交互和学习能够得到最佳的决策。然而，其存在维数爆炸的问题，深度Q网络算法(Deep Q-Network，DQN)则有效弥补了该缺陷，且目前已被广泛应用在各种大规模复杂环境的决策问题中。另外，由于DQN不需要干扰环境的先验知识，故适合在复杂电磁环境下使用。为更有效地减小Agent与环境交互的代价，提高样本利用率和经验回放的效率，优先经验回放法(Prioritized Experience Replay，PER)被用于改进DQN算法。其根据经验池中样本的TD-error为样本赋予不同的优先度，并按与优先级成正比的概率进行采样，从而提高了样本集的质量和算法效率。

发明内容

本发明针对现有智能抗干扰决策问题的局限性，综合考虑调整跳频系统中跳频图案的跳速和信道划分间隔，以产生双变跳频图案，达到在复杂电磁环境中对抗干扰，提高通信质量的目的。因此，本发明提出了一种基于PPER-DQN的双变跳频图案智能决策方法，提高决策效率，产生的双变跳频图案，其较常规跳频图案性能更优。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1、根据感知到的频谱状态，估计干扰的主要参数，预测未来短时间Δ内的频谱状态。

步骤2、初始化估值Q网络、目标Q网络、经验池和Sumtree存储结构，设置网络的学习率l_r、目标Q网络的更新周期T_tar、采样样本数量M、折扣因子γ、参数α、β、λ、η、ξ、z、G以及总训练回合数随机初始化状态s₀。

步骤3、对于当前状态s_t，根据动作选择策略及估值Q网络选择最佳动作a_t并执行，得到下一状态s_t+1，代入奖赏函数计算立即奖励r_t。