[发明专利]一种基于强化学习的无线异构车联网边缘卸载方案

权利要求书

1.一种基于强化学习的无线异构车联网边缘卸载方案，其特征在于，具体步骤为：

步骤1、在每时隙的开端，AP观察并收集路段中的环境信息，包括路段中所有基站车辆、用户车辆的位置和所有V2I信道和V2V信道的信道增益；

步骤2、由收集到的环境状态，根据DQN网络，确定该时隙所有用户车辆的任务卸载选择。选择包括V2I和V2V两种卸载方式；

步骤3、AP将卸载选择广播到所有相关车辆，使各用户车辆卸载任务至目标边缘服务器；

步骤4、在每时隙的末尾，AP接收所有用户车辆对这一时隙计算率的反馈；

步骤5、以该反馈的函数作为回报，训练DQN网络；

步骤6、返回步骤1，直到路段中没有任何用户车辆。

2.根据权利要求1所述的基于强化学习的无线异构车联网边缘卸载方案，其基础设施包括：

在城市环境的一条双车道单向道路上，道路的一侧部署一个基站(Access Point，AP)，该AP与移动边缘计算服务器(MEC server)相连，分别负责通信功能和任务计算功能。在道路上有若干车辆在移动，它们分别为用户车辆(User vehicles)和基站车辆(Basevehicles)，每个车辆都装有通信模块，可与AP一起组成车联网；这里用户车辆表示为集合：其中N_U代表道路上用户车辆的数量；基站车辆表示为集合其中N_B代表道路上基站车辆的数量；

为了量化车辆和AP的位置，建立一个三维坐标系(x，y，z)∈R³，其中x轴沿着道路的方向，且正方向指向单向道的行驶方向；y轴方向垂直于公路，和x轴正交；z轴方向为竖直向上；设AP的坐标为(L/2，0，H)，其中L代表AP信号覆盖范围内路段的长度；第一个车道上所有车辆的坐标满足：y₁＝W_lane/2，第二个车道上所有车辆满足：y₂＝3W_lane/2，其中W_lane为车道宽度。不考虑车辆的高度，即所有车辆的z坐标都设为0；

每个用户车辆均有自己的计算密集型任务，且车辆的计算单元无法在规定的时延内完成该任务，必须将其卸载到基站车辆或者AP上；基站车辆的计算单元为空闲状态，可以在一个时隙里计算单个用户车辆卸载的计算任务；AP连接的MEC服务器计算能力强大，可以为在一个时隙里服务单个或多个用户车辆完成计算任务卸载。

3.根据权利要求1所述的基于强化学习的无线异构车联网边缘卸载方案，其特征在于，将时间分成若干个时隙，用户车辆可以在每个时隙里，选择卸载自身的计算任务至路段中任意边缘服务器(AP或基站车辆)中。若用户车辆在某一个时隙里选择卸载任务至基站车辆，则称其选用车辆到车辆(Vehicle to Vehicle，V2V)卸载方式；若选择卸载至AP，则称其选用车辆到基站(Vehicle to Infrastructure，V2I)卸载方式。

4.根据权利要求1所述的基于强化学习的无线异构车联网边缘卸载方案，其特征在于，方案中任务的计算为把任务输入文件ITF；转换为任务输出文件OTF(output task file)的过程。这个过程耗费的时间和ITF的大小成正比；这里将车辆i的ITF大小用符号表示为U_i，单位为bit；将边缘服务器每秒处理器运转的周期数符号表示为i，单位为cycle/s；任务的时间复杂度与任务的特征以及采用的算法有关，表示为计算1bit的ITF需要的处理器周期数，这里假设为一个常量，符号表示为φ，单位为cycle/bit；综上所述，任务计算的时间为：

5.根据权利要求3所述的基于强化学习的无线异构车联网边缘卸载方案，其特征在于，V2I卸载方案中，存在一个任务队列；该队列可为任意存储器如SRAM、DDR；AP需要在一个时隙中完成四个阶段的工作：

1)阶段1：接收用户车辆上传任务文件；

2)阶段2：将任务放入队列等待计算；

3)阶段3：从队头开始，依次取出队头任务在MEC服务器上计算；

4)阶段4：回传任务计算结果到用户车辆。