[发明专利]一种基于强化学习的边缘计算任务卸载方法

说明书

本发明公开了一种基于强化学习的边缘计算任务卸载方法，包括以下步骤：S1.建立边缘计算系统模型；S2.普通用户节点产生任务上报至SDN总控制器节点，根据用户任务情况，选择本地计算或卸载计算，在需要进行卸载计算时，通过强化学习方法训练后的SDN总控制器节点根据实时网络状态，频谱资源和计算资源，获得基于边缘节点网络状态的最优卸载策略并反馈至普通用户节点；S3.普通用户节点根据最优卸载策略将任务卸载给服务节点，服务节点执行分配到的计算任务，并将计算结果反馈至普通用户节点。本发明能够有效缓解计算资源紧张的问题。

技术领域

本发明涉及无线通信技术领域，更具体的说是涉及一种基于强化学习的边缘计算任务卸载方法。

背景技术

随着通信和计算技术的先进发展，具有联网需求的设备在数量上已经十分庞大，设备功能也呈现多样化的特点，如车联网，智能医疗等可预测的物联网应用也在蓬勃发展，其任务的可容忍时延具有非常严格的要求，而且联网设备数量的庞大必然会存在数据流量的爆发，这些都对传统的云计算的集中式计算处理与大规模数据存储提出了严峻的挑战，主要存在以下问题：1)延迟：设备与云计算中心距离较远，对于一些时延敏感型设备就会造成严重影响，例如车联网中，时延可能会对人的生命安全造成严重威胁；2)流量：设备数量的指数型增长必然也会造成流量的增多，通信堵塞，降低用户体验质量；3)安全及能耗：设备传输信息时，需要经过较长路径容易导致数据丢失或者信息泄露等风险；数据中心的高负载导致的高能耗也是云计算的核心问题。

上述问题均可由边缘计算加以解决，边缘计算即为将具有一定计算能力、存储能力的计算设备放置在网络边缘，即临近用户侧，为用户提供IT服务环境和计算功能，将原本位于云计算中心的服务和功能“下沉”到移动网络的边缘，在移动网络边缘提供计算、存储、网络和通信资源。这样设备就不需要向云计算中心服务器发送请求，很大程度上减少了通信时延。同时，由于可以在用户附近进行数据处理，减少了路由长度，安全性得到了一定的保障，并且能够有效缓解云计算中心主干道路上的拥塞。

因此，如何提供一种基于强化学习的边缘计算任务卸载方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于强化学习的边缘计算任务卸载方法，用于解决传统云计算中所存在的技术问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于强化学习的边缘计算任务卸载方法，包括以下步骤：

S1.建立边缘计算系统模型，边缘计算系统模型包括：普通用户节点、可租用用户节点、MEC服务器节点和SDN总控制器节点，其中，每个SDN总控制器节点下，包括N个泊松分布的普通用户节点N＝{u₁,u₂,u₃,…,u_N}，可租用用户节点和MEC服务器节点作为服务节点共M个，记为K＝{k₁,k₂,k₃,…,k_M}；

S2.普通用户节点产生任务上报至SDN总控制器节点，根据用户任务情况，选择本地计算或卸载计算，在需要进行卸载计算时，通过强化学习方法训练后的SDN总控制器节点根据实时网络状态，频谱资源和计算资源，获得基于边缘节点网络状态的最优卸载策略并反馈至普通用户节点；

S3.普通用户节点根据最优卸载策略将任务卸载给服务节点，服务节点执行分配到的计算任务，并将计算结果反馈至普通用户节点。

优选的，S2中选择本地计算或卸载计算的具体内容包括：

普通用户节点产生的一个任务R_i包括：当前任务的数据包大小d_i，当前任务的最大可容忍时延当前任务计算能力需求α_i；

根据本地计算能力获取在时隙t时任务计算执行时间具体方法为：