[发明专利]一种边缘计算系统的多无人机任务卸载和资源分配的方法

权利要求书

1.一种边缘计算系统的多无人机任务卸载和资源分配的方法，其特征在于：所述的方法包括步骤如下：

S1：制定系统状态S_t，将无人机的当前位置、无人机的相对距离、无人机与物联网智能设备的相对距离、物联网智能设备的服务次数组合成系统状态S_t；

S2：构建深度确定性策略梯度优化神经网络，初始化神经网络参数包括权重、偏置、学习率、神经网络的层数；

S3：将系统状态S_t输入到深度确定性策略梯度优化神经网络中进行训练，得到系统动作，所述的系统动作包括物联网智能设备的卸载决策、无人机的飞行方向、无人机的飞行距离、无人机分配给对应物联网智能设备的计算资源；

S4：边缘计算系统根据步骤S3得到的系统动作执行相应的动作，并根据即时回报函数得到该系统动作的报酬值；

S5：根据得到的报酬值继续训练深度确定性策略梯度优化神经网络的参数，直到报酬值趋于稳定，由此完成对深度确定性策略梯度优化神经网络的训练，训练得到最优的策略π，所述的策略π包括最佳的无人机轨迹、卸载方案和计算资源分配方案。

2.根据权利要求1所述的边缘计算系统的多无人机任务卸载和资源分配的方法，其特征在于：所述的深度确定性策略梯度优化神经网络包括动作神经网络、批评家神经网络；

所述的动作神经网络将系统状态S_t作为输入，输出动作A_t，得到策略π定义为一个映射π：S_t→A_t；其中，t表示时隙；

对于任何动作A_t，采用评论家神经网络用于评估预期的长期回报，来指导动作A_t向更好的方向发展，定义为一个映射Q(S_t,A)→R。

3.根据权利要求2所述的边缘计算系统的多无人机任务卸载和资源分配的方法，其特征在于：在决策时隙t时，所述的动作神经网络接收系统状态S_t，并产生动作A_t，同时获得下一个网络状态S_t+1；

马尔科夫过程的即时回报函数R_t等于采取一个动作从当前状态S_t到达下一个状态S_t+1所付出的代价；

然后，将(S_t,A_t,R_t,S_t+1)存放在记忆内存中；在每个训练阶段，从记忆内存中选取样本来进行学习更新动作神经网络和评论家神经网络的参数，以达到长期报酬的最大化，也即最优化的目标函数，所述的目标函数定义为max E_π,s[R(S_t+1|S_t,π(A_t))]。

4.根据权利要求3所述的边缘计算系统的多无人机任务卸载和资源分配的方法，其特征在于：对于动作神经网络，将从记忆内存中选择样本Ω＝{(S_t，A_t)|t∈Γ}，其中，Γ代表样本索引；使用机器学习中Adam优化器向最小化代价函数L(θ^u)的方向更新动作神经网络的参数θ^u，其中，u(S_t)表示当前动作神经网络输入S_t所产生的输出；

通过优化最小化代价函数L(θ^u)来更新动作神经网络的参数θ^u，学习到最优策略π，从而完成训练过程。