[发明专利]一种基于深度强化学习的资源分配方法及装置

说明书

本发明实施例提供了一种基于深度强化学习的资源分配方法及装置，方法包括：确定用户的应用程序请求中包含的多种待分配资源的服务，以及各服务的分配优先级；确定当前边缘微云系统的状态参数，状态参数包括资源均衡度评估参数，响应延迟评估参数，以及每个微云中各个计算节点的资源剩余量；将状态参数输入预先训练完成的资源均衡优化模型，得到第一服务的第一目标计算节点；资源均衡优化模型是基于深度强化学习训练完成的，将第一服务部署于第一目标计算节点；更新状态参数，返回参数输入步骤，直到应用程序请求中包含的每种待分配资源的服务均完成资源分配。相比于传统的资源分配方法，既能够满足通信延迟需求，又能达到较高的资源利用均衡度。

技术领域

本发明涉及无线通信技术领域，特别是涉及一种基于深度强化学习的资源分配方法及装置。

背景技术

近年来，随着信息化、网络化的不断发展，信息系统在军事、救灾等领域发挥着越来越重要的作用。在这种高度动态的环境中，任务计划及设备构成可能频繁变化，网络连通能力也会出现波动。基于单机设备的服务资源十分有限，无法应对复杂的计算任务。云计算技术是应对这种场景的有效手段。云计算技术中，能够根据任务需求，自定义进行资源配置，从而为大规模应用程序提供方便灵活的管理服务，然而，传统的云平台通常部署在距离用户较远的地区，通信延迟较高，且在网络不稳定的环境中，很难提供持续可靠的服务。

为了解决上述问题，产生了边缘微云平台。边缘微云平台是一种新兴的云计算模型，有多个分布式部署的边缘微云组成，每个边缘微云包含若干小型服务器，边缘微云平台的规模可以随着任务需求进行调整。边缘微云大都部署在移动车辆上，根据任务需求进行移动，以提供更高质量的云服务。随着微服务技术的发展，一个应用程序通常由多个相互通信的组合服务构成，每个组合服务对不同维度资源的需求不同。由于单个边缘微云的计算能力有限，不能满足所有服务需求，因此组合服务可以分布式部署在不同的边缘微云中，不同的边缘微云间相互协作共同提供计算能力。

然而，现有的边缘微云技术，在为服务分配资源时，经常会出现资源碎片化的情况，即资源分配不均衡，从而造成某一维度资源的浪费。此外，资源分配时不仅需要考虑各个服务的资源需求，还需要考虑服务之间的通信需求，这进一步增加了资源分配的复杂性，而现有的相关技术中均未考虑服务间通信需求。

可见，亟需一种能够满足服务之间通信需求，且资源利用的均衡度较高资源分配方法。

发明内容

本发明实施例的目的在于提供一种基于深度强化学习的资源分配方法及装置，以提高资源利用的均衡度。具体技术方案如下：

为实现上述目的，本发明实施例提供了一种基于深度强化学习的资源分配方法，应用于边缘微云系统的控制平台，所述边缘微云系统还包括多个微云，每个微云包括多个计算节点，所述方法包括：

确定用户的应用程序请求中包含的多种待分配资源的服务，以及各服务的分配优先级；

确定当前边缘微云系统的状态参数，所述状态参数包括资源均衡度评估参数，响应延迟评估参数，以及每个微云中各个计算节点的资源剩余量；

将所述状态参数输入预先训练完成的资源均衡优化模型，得到第一服务的第一目标计算节点；所述第一服务为当前分配优先级最高的服务；所述资源均衡优化模型是基于深度强化学习训练完成的，其中，深度强化学习的训练集包括：边缘微云系统的样本状态参数；

将所述第一服务部署于所述第一目标计算节点；

更新所述状态参数，并返回将所述状态参数输入预先训练完成的资源均衡优化模型的步骤，直到所述应用程序请求中包含的每种待分配资源的服务均完成资源分配。

可选的，基于如下公式计算所述资源均衡度评估参数：