[发明专利]一种基于多分类和分布式强化学习的卸载决策优化方法

说明书

本发明涉及一种基于多分类和分布式强化学习的卸载决策优化方法，包括：步骤1基于智能巡检集群的边缘系统模型获取参数信息，并采集若干不同时间段产生的任务信息和距离信息，步骤2计算任务处理时延和能耗，步骤3构建多分类和分布式强化学习的神经网络和设置网络超参数，步骤4将步骤获取的任务信息和距离信息输入到神经网络进行训练，训练包括候选卸载决策动作生成阶段和资源分配阶段。本发明的方法能够更大概率更快速度获得最佳卸载决策的优势，降低系统卸载所需的时延和能耗的加权和，达到保证智能巡检集群有效运行时间和保障监控功能的目的，实现最小化系统能耗和加权和的目的，同时普适性更好。

技术领域

本发明涉及智能巡检集群边缘计算的计算卸载领域，尤其涉及一种基于多分类和分布式强化学习的卸载决策优化方法。

背景技术

人类的生产生活与天气预报、电网、通信网络密切相关。气象预报的准确性，电网和通信网络的安全稳定运行，始终依赖于各类气象观测设施、电力设施和网络设施的正常运行。但是由于各种设施所处环境的复杂性和动态性(害虫追踪)以及监测对象的多样性(设施监测和生物监测)，简单的引入固定传感器和摄像机可能无法完全满足监测需求。因此，对设备进行长期有效的动态监测是保持其连续运行的重要手段。智能巡检集群是移动全方位监控的有效方案之一，其通过使用多种低成本移动设备(如轻型无人机、智能汽车)构建统一控制、高效协作的动态巡检群保障大型设施正常运行。集群内节点之间动态协作，相互配合完成监控任务，将监控数据传输到云端，处理后将结果返回到控制中心。最后，控制中心将根据数据处理的结果决定是否对设施采取维修措施。

但是智能巡检集群也存在一定的局限。检测设备(无人机、智能汽车等)由于机动性强、体积小、生产成本低等严格限制，在电池寿命和计算能力方面仍存在缺陷。同时，随着硬件和互联网技术的发展，检测设备(如无人机、智能汽车等)采集的数据类型多样化，数据处理和存储能力也有所增强。

以云计算为核心的传统数据处理模式在满足传输时延、能耗和数据安全等方面缺陷明显。移动边缘计算技术是平衡智能巡检集群用户体验质量和计算能力的一种有效措施，通过算法,将计算任务传输到边缘设备进行处理，节省设备能耗和任务处理时延，使集群计算能力得到充分利用的同时保障了集群的正常运转。

计算卸载主要包含以下两个问题:卸载决策问题和资源分配问题.卸载决策是指用户决定是否卸载、卸载多少以及卸载什么.卸载决策结果分为本地执行(不卸载)、部分卸载和全部卸载.卸载决策的具体结果由用户的能量消耗和完成计算的任务时延决定.卸载决策目标主要分为降低时延、降低能耗以及权衡时延和能耗三个方面.资源分配是指用户终端应该将决定卸载的计算任务分配到一个或多个边缘服务器执行。

目前，计算卸载作为移动边缘计算的关键技术，计算卸载已有很多相关的研究成果。例如具有代表性的方法有粒子群优化算法，模拟退火算法，深度强化学习方法等。以上方法为边缘计算在用户任务数量-用户数量-边缘服务器数量方面局限于一个或两个因素数量为一的系统模型中计算卸载的实现提供了坚实的理论基础，并且实验结果表明了方法的有效性。但是针对类似基于智能巡检集群的多任务-多用户-多边缘服务器的系统模型的计算卸载研究工作却很少。而对于智能巡检集群而言，集群内所有设备均通过簇头设备集中统一管控，较一般的使用的移动终端独立工作模式区别明显。因此，针对一定区域中，多个边缘服务器位置固定场景中，智能巡检集群位置不断的变化的同时影响设备与服务器之间网络连接的情况下，为了适应集群移动的网络参数随机变化，寻求如何用最小的时延和能耗代价，在一定时间内，完成在该时间段内所有设备产生全部任务的卸载决策显得尤为重要。

发明内容

针对现有技术之不足，一种基于多分类和分布式强化学习的卸载决策优化方法，所述方法包括：

步骤1：基于一个智能巡检集群的边缘系统模型，首先获取所述模型内智能巡检设备和边缘设备的参数信息和网络参数信息，然后采集若干不同时间段t内所述智能巡检设备产生的任务信息以及所述智能巡检设备与所述边缘设备之间的距离信息，并对采集到的信息进行预处理；