[发明专利]基于联邦学习的无人机专用自组网跳频抗干扰方法及装置

说明书

本申请提出一种基于联邦学习的无人机专用自组网跳频抗干扰方法和装置，其中，方法包括：在无人机客户端中基于DQN算法的跳频抗干扰模型训练，从经验池里选择历史经验作为训练数据更新本地DQN本地模型的参数获得优质跳频策略，根据当前时隙的信道状态，将训练出的不同信道对应的Q值作为序列输出，选择相应的信道进行通信，并将损失系数作为本地权重发送到地面服务器，采用联邦平均进行优化得到优化后结果，训练地面服务器的全局模型，将更新后的全局权重发送给各个无人机根据更新后的全局权重更新损失系数，训练DQN跳频选择抗干扰模型。本发明能够根据干扰情况来生成对应的跳频策略，指导无人机选择没有干扰的信道进行通信，能够有效地提升通信效率。

技术领域

本发明涉及自组网技术领域，特别涉及一种基于联邦学习的无人机专用自组网跳频抗干扰方法及装置。

背景技术

无人机变得越来越受欢迎，因为它们可以在三维空间中完成各种具有挑战性的任务。由于无人机的高度机动性，因此存在许多具有挑战性的应用，例如边界监视，中继网络和灾难监视，可以在其中部署无人机以获得更好的功效。无人机自组织网络(The FlyingAd-hoc Network,FANET)是由无人机组成的分散式通信网络，用于缓解基于完全基础架构的无人机网络所面临的挑战。无线通信的可靠性在任何应用中都很重要，尤其是在军事领域。通常，干扰攻击可以有效地阻止无人机将数据传输到目标。因此，无人机自组织网络迫切需要有效的抗干扰策略来解决干扰问题。

联合学习(Federated Learning,FL)是一种分布式机器学习(Machine Learning,ML)技术，旨在为移动设备进行设备级培训。联邦学习最早在2016年由谷歌提出，原本用于解决手机终端用户在本地更新模型的问题，但随着技术的发展，联邦学习也开始被用于通信技术当中。联邦学习的目标是在保证数据传输安全的基础上，实现共同建模，提升AI模型的效果。

深度强化学习是深度学习(Deep Learning,DL)和增强学习(ReinforcementLearning,RL)的结合。DQN算法作为深度强化学习的开山之作，由DeepMind在NIPS 2013上发表，后又在Nature 2015上提出改进版本。DQN算法是一种将Q-Learning与神经网络相结合的学习技术，相比于Q-learning，DQN算法能从高维状态输入得到低维动作输出，有更强的适用性。

由于无人机自组网面临的复杂环境，其通信更易受到干扰。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于联邦学习的无人机专用自组网跳频抗干扰方法，通过假设无人机所在区域频谱信道间歇性地受到干扰，当无人机选择的信道受到干扰时，无人机发送的数据无法传到目标；当无人机选择的信道没有干扰时，无人机发送的数据成功传到目标。因此，结合DQN算法和联邦学习算法，对信道干扰情况进行学习，在不同的状态下选择当前状态合适的信道，成功地发送信息来进行通信。

本发明的第二个目的在于提出一种基于联邦学习的无人机专用自组网跳频抗干扰装置。

为达上述目的，本发明第一方面实施例提出了一种基于联邦学习的无人机专用自组网跳频抗干扰方法，包括以下步骤：

S1，在无人机客户端中，基于DQN算法的跳频抗干扰模型进行训练，在每个训练回合，从所述经验池里选择预设数量的历史经验作为训练数据输入到DQN本地模型中；

S2，通过将所述训练数据输入至所述DQN本地模型的神经网络，更新所述本地DQN本地模型的参数，使得所述DQN本地模型获得优质跳频策略；

S3，所述无人机根据当前时隙的信道状态，将所述DQN本地模型训练出的不同信道对应的Q值作为一个序列输出，所述跳频策略根据所述序列中的预设阈值选择相应的信道进行通信，并将所述DQN本地模型中的损失系数作为本地权重发送到地面服务器；