[发明专利]基于联邦学习的无人机专用自组网跳频抗干扰方法及装置

权利要求书

1.一种基于联邦学习的无人机专用自组网跳频抗干扰方法，其特征在于，包括以下步骤：

S1，在无人机客户端中，基于DQN算法的跳频抗干扰模型进行训练，在每个训练回合，从经验池里选择预设数量的历史经验作为训练数据输入到DQN本地模型中；

S2，通过将所述训练数据输入至所述DQN本地模型的神经网络，更新所述DQN本地模型的参数，使得所述DQN本地模型获得优质跳频策略；

S3，所述无人机根据当前时隙的信道状态，将所述DQN本地模型训练出的不同信道对应的Q值作为一个序列输出，所述跳频策略根据所述序列中的预设阈值选择相应的信道进行通信，并将所述DQN本地模型中的损失系数θ作为本地权重发送到地面服务器；

S4，所述地面服务器将所述本地权重收集并采用联邦平均算法进行优化得到优化后结果，将所述优化后结果训练所述地面服务器的全局模型，所述地面服务器将更新后的全局权重发送给各个无人机，所述无人机客户端根据所述更新后的全局权重更新损失系数θ，以训练所述DQN跳频选择抗干扰模型；

所述从经验池里选择预设数量的历史经验作为训练数据输入到DQN本地模型中，包括：

在每个时隙测试信道之后，将历史状态、历史动作和反馈信息作为历史信息保存到DQN的经验池中，并从所述经验池里随机选择预设数量的所述历史状态、所述历史动作和所述反馈信息作为输入，输入到所述DQN本地模型中；

所述S2中，其中，所述跳频抗干扰模型基于所述DQN算法，所述DQN算法结合神经网络和Q-learning算法，采用ε贪婪策略探索多个信道，根据所述DQN本地模型选择信道，使用目标Q-Network减小损失函数并促进所述DQN本地模型收敛；

所述使用目标Q-Network减小损失函数并促进所述DQN本地模型收敛，包括：

所述目标Q-Network与动作Q-Network结构相同，且每隔N次训练回合，所述动作Q-Network的参数赋值给所述目标Q-Network，其中，每一次替换时的损失函数的计算公式如下：

其中，Q(s,a；θ)是指以当前状态作为输入时，动作Q-Network中在当前时刻的模型参数下的Q值；r是当前时刻的反馈；γ是衰减系数；s^′是下一时刻′的状态；a^′是下一时刻的动作；θ是上一次更新后的模型参数；γmax_a′Q(s^′,a^′；θ)是指以当前状态作为输入时，目标Q-Network用上一次更新后的模型参数进行处理后，模型输出的Q值序列中最大的Q值；

所述S3包括：

所述DQN本地模型采用贝尔曼公式更新Q值，公式如下：

Q(s_t,a_t)←Q(s_t,a_t)+α[r_t+γmax_aQ(s_t+1,a_t+1)-Q(s_t,a_t)]

其中，Q(s_t,a_r)是在当前状态s_r下采取动作a_r所得到的Q值；α是学习率；γ是衰减系数；r_r是当前时刻t的反馈；max_aQ(s_r+1,a_t+1)是指在当前状态s_t下采取动作a_t之后能够得到的下一状态s_t+1的最大Q值；

所述无人机客户端的跳频策略根据所述DQN本地模型的输出序列中的最大值选择相应的信道a与服务器通信，并将所述损失系数θ作为本地权重发送给本地服务器。

2.根据权利要求1所述的基于联邦学习的无人机专用自组网跳频抗干扰方法，其特征在于，所述S1中，所述无人机客户端中基于所述DQN本地模型的输入为来自所述经验池的(s,a,r,s^′)；

其中，s表示做出动作时的当前状态，为本次学习之前所选择的信道；a表示某一时间时所做出的动作，为根据所述当前状态所选择的信道；r表示做出动作后收到的反馈信息，如果信道没有干扰，则为正值，反之，如果信道有干扰则为负值；s^′表示为做出动作之后进入的下一个状态，为a所选择的信道。