[发明专利]一种边缘计算系统中神经网络模型分割与资源分配方法

说明书

本发明公开了一种边缘计算系统中神经网络模型分割与资源分配方法，包括构建边缘计算系统模型与机器学习任务模型；构建机器学习任务端到端时延模型和服务器能耗模型，进而建立长期系统性能优化问题；基于Lyapunov优化技术，将时隙间决策耦合的长期优化问题转化为时隙间决策独立的单时隙优化问题；构建马尔可夫决策过程，将时隙间决策独立的单时隙优化问题转化为强化学习优化问题；基于深度强化学习技术，训练并应用神经网络模型分割与资源分配策略。本发明综合考虑任务到达率、网络传输速率和服务器计算能力等因素，实现神经网络模型分割与计算资源分配动态优化，在充分考虑服务器的能耗预算基础上，加速机器学习推理，提高用户体验。

技术领域

本发明涉及机器学习和边缘计算技术领域，具体涉及到一种边缘计算系统中神经网络模型分割与资源分配方法。

背景技术

近年来，作为机器学习的新的研究方向，深度学习技术在自然语言处理、计算机视觉和大数据分析等领域得到广泛应用。随着应用需求日益严苛，神经网络模型愈发复杂，终端设备产生的海量数据需要被分析处理。然而，传统的云计算架构受限于长距离网络传输和中心式数据处理，已经很难满足机器学习应用的实时性和可靠性需求。为了解决以上问题，边缘计算架构被提出并得到广泛认可。通过将边缘服务器部署在靠近终端设备的网络边缘，边缘计算架构可以提供低时延、高可靠的机器学习推理环境。

针对边缘计算系统中基于神经网络的机器学习应用，一种被广泛认可和应用的部署思路是将神经网络模型进行分割并分层部署在不同的设备上，单个机器学习任务被拆分为多个子任务，并按顺序分别在不同的设备上进行处理，以充分利用网络资源，加速机器学习推理。

现有的神经网络模型分割与部署方案忽略了服务器能耗成本，未考虑服务器的长期能耗约束，即服务提供商的能耗预算。同时，现有方案假设业务负载和可用资源等网络特征是静态的和稳定的，未结合任务到达率等因素对神经网络模型分割和资源分配进行动态决策。以上不足极大地限制了神经网络模型分割与部署的性能。

发明内容

(一)要解决的技术问题

本发明为克服上述现有技术的不足，面向边缘计算系统中多种机器学习应用，综合考虑任务到达率、网络传输速率和服务器计算能力等因素来确定神经网络模型分割与资源分配策略，将本发明所提方法集成至服务器管理系统的容器(或虚拟机)部署模组与资源配置模组，结合网络状态感知采集模组，实现神经网络模型分割与计算资源分配动态优化，在充分考虑服务器的能耗预算基础上，加速机器学习推理，提高用户体验。

(二)技术方案

为解决上述技术问题，本发明提出了一种边缘计算系统中神经网络模型分割与资源分配方法，包括以下步骤：

S1：构建边缘计算系统模型与机器学习任务模型；

S2：构建机器学习任务端到端时延模型和服务器能耗模型，进而建立长期系统性能优化问题；

S3：基于Lyapunov优化技术，将S2建立的时隙间决策耦合的长期优化问题转化为时隙间决策独立的单时隙优化问题，从而降低神经网络模型分割与资源分配决策难度；

S4：构建马尔可夫决策过程，从而将S3建立的时隙间决策独立的单时隙优化问题转化为强化学习优化问题；

S5：基于深度强化学习技术，训练并应用神经网络模型分割与资源分配策略。

进一步的，所述步骤S1具体为：