[发明专利]基于强化学习的无人机任务卸载策略的确定方法和装置

权利要求书

1.基于强化学习的无人机任务卸载策略的确定方法，其特征在于，所述方法应用于移动边缘网络系统，所述移动边缘网络系统包括基站，以及在移动边缘网络区域执行应用服务并生成计算任务的无人机，所述基站配置了用于为无人机提供边缘计算服务的边缘服务器，所述任务卸载策略包括任务卸载决策和本地资源分配决策，所述方法包括：

S1:将无人机的计算任务建模为DAG模型，计算任务由多个不可再拆分且有序执行的子计算任务组成；

S2:确定无人机产生的每个计算任务的任务卸载策略以最小化无人机工作期间内所有计算任务的平均计算代价，所述任务卸载策略用于确定计算任务的所有子计算任务中需要卸载到边缘服务器计算处理的子计算任务和在无人机本地计算处理的子计算任务；

所述步骤S2中确定无人机产生的每个计算任务的任务卸载策略之前还包括为无人机产生的每个计算任务搭建任务卸载模型，具体为：

定义一个指示变量m_j∈{0,1,2,...,M}来表示第j个计算任务的任务卸载决策，即计算任务前m_j个子计算任务在无人机本地计算处理，后M-m_j个子计算任务在边缘服务器计算处理，其中M指组成单个计算任务的子任务总数；

具体的DAG拆分模型如下：

A(m_j)＝{L(m_j),B(m_j),Z(m_j)}

其中L(m_j)表示第j个计算任务的拆分后所需的无人机本地计算资源；B(m_j)表示第j个计算任务的拆分后所需的边缘服务器计算资源；Z(m_j)表示第j个计算任务的拆分后无人机需要传输的输入比特量；

无人机计算任务的计算代价包括计算任务的延时损耗T(j)，所述计算任务的延时损耗包括：计算任务在本地计算处理时间，无人机传输计算任务需要卸载的数据到边缘服务器的时间，以及计算任务在边缘服务器计算处理的时间；对于无人机第j个计算任务：

根据任务拆分模型，第j个计算任务在本地计算处理的时间为：

无人机用户传输第j个计算任务需要卸载的数据到边缘服务器的时间为：

第j个计算任务在边缘服务器计算处理的时间为：

因此，无人机第j个计算任务计算处理的总时间如下式所示：

其中，f_u无人机本地CPU频率，f_b为边缘服务器CPU频率，R(j)为无人机和基站之间的通信信道传输速率；

无人机处理计算任务的能量损耗包括：无人机计算处理计算任务的能量损耗，以及无人机卸载计算任务需要传输的数据到边缘服务器的能量损耗，对于无人机的第j个计算任务：

根据任务拆分模型，无人机计算处理第j个计算任务的能量损耗为：

E_l(j)＝L(m_j)kf_u²

其中，kf_u²表示无人机单位计算周期的能量损耗，k为系数，其值取决于芯片的架构；

无人机用户传输第j个计算任务需要卸载的数据到边缘服务器的能量损耗为：

E_off(j)＝T_off(j)P；

因此第j个计算任务计算处理所需的无人机总能量消耗如下式所示：

Z_j(m_j)是指当无人机对计算任务j的拆分决策为m_j时，无人机需要传输的输入比特量；P为无人机用户的传输功率。

2.如权利要求1所述的基于强化学习的无人机任务卸载策略的确定方法，其特征在于，所述无人机计算任务的计算代价为计算任务的延时损耗T(j)和无人机处理计算任务的能量损耗E(j)的加权值，对于无人机第j个计算任务，计算代价如下式所示：

C(j)＝αT(j)+βE(j)

其中，α,β为两个权重因子α,β∈(0,1)且α+β＝1，分别表示计算任务延时损耗和无人机处理计算任务的能量损耗的加权系数。