[发明专利]基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法

权利要求书

1.基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法，其特征在于，包括如下步骤：

步骤S1：基于半马尔可夫决策过程定义车载雾辅助的车队任务卸载系统的状态集和动作集；

步骤S2：根据系统的状态集和动作集得到系统当前的状态s和动作a(s)，并根据系统当前的状态s和动作a(s)计算系统状态转移概率；

步骤S2中，所述转移概率的计算方法为：分别计算车队发出任务请求时的转移概率、车辆处理的任务离开系统时的转移概率、车载雾中计算单元共同处理的任务离开系统时的转移概率、车辆到达系统时的转移概率、车辆离开系统时的转移概率，并进行归一化；

步骤S3：根据系统奖励和系统状态转移概率建立贝尔曼最优方程并求解系统中的最优卸载策略；

所述系统奖励为系统在状态s采取动作a(s)的系统奖励，表示为系统的立即增益与系统状态转移期间所消耗成本之间的差值，计算如下：

R(s,a)＝U(s,a)-G(s,a)

其中U(s,a)表示系统在状态s下采取动作a(s)后，系统的立即增益；G(s,a)表示从当前状态转移到下一状态期间，系统的消耗；

步骤S3中，所述立即增益的表达式为：

其中，η表示时间的单位价格，E_l表示由任务请求者自身处理时所需的时间，T_p表示车队内传输任务的传输时间，每个任务所需的计算资源为d，车队车辆V_i(i＝1,...,N)的计算资源为f_i，表示由头车将任务传输给车载雾中j个计算单元共同处理的传输时间，惩罚参数为ζ；

所述T_p和具有相同的计算公式，用T_tr表示：

T_tr＝θ·E_tr·T_slot

其中θ表示车辆需要传输的任务数，在车队内，其值恒定为1，在头车与车载雾组成的网络中，其值取决于系统的决策，当头车将任务划分为相同大小的j个子任务并分别传输给车载雾中的j辆车，θ的值为j；E_tr表示传输任务所需要的平均时隙数；T_slot表示每个时隙的平均时长；

B_j表示由车载雾中j个计算资源共同处理的任务的个数，N_R表示单个任务在车载雾中最多能分配到的计算资源数目，表示车队产生计算任务，系统将任务分配到车队车辆V_i中处理，表示系统将任务传输到车载雾中的j个计算单元处理，A表示车队中车辆发出计算任务，F₊₁和F_-1分别表示车辆到达和离开车载雾，表示由车载雾中N_R个计算资源共同处理的任务离开系统，e表示当前事件，a为当前系统动作，N为车队中车辆数目，D_N表示由车队中车辆V_N处理的任务被处理完成，a＝-1表示当前事件为由车辆V_i处理的任务离开系统，由车载雾中j个计算资源共同处理的任务离开系统，车辆到达以及车辆离开，此时系统不采取任务动作，M表示车载雾中计算资源的个数，b表示系统丢弃数据包；

步骤S3中，所述系统的消耗为：

其中α表示连续时间折扣因子，C(s,a)是当前状态下采取动作后，系统中正在处理任务的车辆数，其表达式为：

β(x,a)表示系统下一时刻所有事件到达率总和，β(x,a)的计算表达式为：

n_i表示车辆V_i处理的任务的个数，n_i＝0表示车辆V_i为空闲车辆，n_i＝1表示车辆V_i正在处理任务，B_j表示由车载雾中j个计算资源共同处理的任务的个数，λp为任务到达车队中的车辆的概率，事件F₊₁和F_-1的到达率分别为λ_v和μ_v，nk为车辆Vk处理的任务的个数，fk为车辆V_k的计算资源，Bm为由车载雾中m个计算资源共同处理的任务的个数，fi为车辆V_i的计算资源，fv为车载雾中每个车辆的计算资源，Di为车辆V_i处理的任务离开系统，L_j为由车载雾中j个计算资源共同处理的任务离开系统，x表示系统下一个状态。