[发明专利]一种车联网任务卸载和服务缓存的联合优化方法及系统

权利要求书

1.一种车联网任务卸载和服务缓存的联合优化方法，其特征在于，包括以下步骤：

S1：构建车联网系统，所述车联网系统由若干个RSU和若干台车辆组成；

S2：确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务；

S3：构建车辆任务卸载策略，将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延；

S4：构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下的任务处理时延；

S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，以最小化所有车辆分别完成其车辆应用的任务处理时延总和为目标设计车联网系统的目标函数，并根据所述目标函数对车联网系统进行优化求解，得到最佳的车辆任务卸载策略和RSU间的协同策略；

其中，使用深度强化学习的DQN算法优化车联网系统的目标函数，所述DQN算法具体包括以下步骤：

a.初始化经验回放池存储空间的大小、随机权重θ的动作-价值函数Q_θ(s_t,a_t)和目标动作价值函数其中，

b.车联网系统在接收到车辆的任务w请求后，随机初始化当前的系统状态s₁及处理序列φ₁＝φ(s₁)；以贪婪率∈为概率随机选择a_t，否则使用深度Q网络遍历当前状态下的各种动作并选择潜在回报最大的动作得到最优的卸载策略动作a₁和协同策略动作a₂；系统状态s_t包括任务和RSU的缓存策略L^(M,S)；

c.执行卸载策略动作a₁和协同策略动作a₂，与环境进行实时交互进入下一个状态s_t+1，并根据目标函数得到奖励值r_t；

d.将卸载策略动作a₁、协同策略动作a₂、系统状态s_t和奖励值r_t存放于经验回放池，同时深度Q网络从经验回放池中均匀随机抽样，构建误差函数，采用反向传播算法更新网络参数θ；

e.所述深度Q网络迭代至网络参数θ收敛，获得最佳的卸载策略和协同策略。

2.根据权利要求1所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，在车联网系统中，车辆在RSU的通信范围内向其邻近的RSU中的MEC服务器请求计算服务：

车联网系统由M个RSU和N台车辆组成，集合M'＝{1,2,...M}和集合N'＝{1,2,...N}分别表示车联网系统内的RSU和车辆；

定义变量当时，表示车辆n在t时刻处于RSUm的通信范围内；m∈M′，n∈N'；

规定在一个时间段t内，车辆只能处于某一个RSU的通信范围内，其公式如下所示：

3.根据权利要求2所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S2中，所述车辆应用包含W个时序型任务w，其公式如下所示：

其中，ρ表示任务的数据量大小，μ表示任务所需的计算力，d表示任务的最大允许时延。

4.根据权利要求3所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S2中，在RSU的MEC服务器上缓存任务对应的服务：

设S'＝{1,2,...,S}表示车联网系统提供的服务集合，缓存所述服务所需的存储空间为p_s；

定义RSU在t时刻的缓存策略为当时，表示RSUm上缓存了服务s；

对于每一个RSU，考虑其缓存资源限制，存在不等式：

其中，C_max表示RSU的最大缓存能力，p_s表示缓存服务所需的存储空间。