[发明专利]一种网络资源协同方法和装置

说明书

本发明公开了一种网络资源协同方法和装置，方法包括：以对网络资源的终端数量、任务大小、和任务个数的操作作为动作、以网络资源的时延和功耗作为状态来初始化sarsa算法的当前Q值；在当前状态下随机选取当前动作，并基于当前动作来确定下一状态；比较当前状态与下一状态，并基于当前状态与下一状态的关系来确定当前奖励；基于下一状态与下一动作来确定下一Q值，并基于当前奖励和下一Q值来更新当前Q值；重复执行上述步骤直到满足结束条件，并基于当前Q值确定行为策略以控制网络资源。本发明能够实时性地解决资源协同问题以降低服务器存储计算时延和功耗开销。

技术领域

本发明涉及资源分配领域，更具体地，特别是指一种网络资源协同方法和装置。

背景技术

边缘计算价值正推动计算模型从集中式转向更加分布式的边缘计算，边缘计算正在快速兴起，到2022年随着数字业务的发展，75％的企业都将会把数据存放在云中心。近年来随着5G时代到来，网络游戏，短视频，实时翻译等计算密集型和延迟敏感的移动应用和传感器设备大量增长，由于移动终端以及IoT设备性能受到限制，所以需要把计算资源转移到云计算中心弥补移动终端的不足。由于移动终端和云服务器距离不同，不仅导致了通信成本也带来了不同程度的延迟，给实时应用带来影响。

MEC(移动边缘计算)是在移动边缘领域提供信息支持与服务，而MCC通过密集部署计算服务器来实现。MEC可以改善MCC(移动云计算)环境下的服务质量(QoS)比如低延迟和低能耗。MCC和MEC是互补协同关系。MEC靠近执行单元，更是云端数据采集和处理的初级单元，可以更好的支持云端应用。

理论上讲由于移动边缘网络的随机性和动态性，通过动态选择执行任务，合理的分配策略能有效降低时延和系统代价。例如马尔可夫决策算法过程通过分析每个任务的时延和设备能耗，提出在计算时间约束的情况下降低代价的策略。蚁群优化算法资源分配算法首先计算可用的质量然后利用蚁群算法得到最优解。自适应移动路径感知的用户分配算法也可以利用边缘节点和路网的数据确定边缘节点的状态进行预期感知。但这些方法都是启发式算法对任务进行调度求解，而启发式算法不能满足MEC场景下的实时性要求。

针对现有技术中难以实时性地解决资源协同问题以降低服务器存储计算时延和功耗开销的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种网络资源协同方法和装置，能够实时性地解决资源协同问题以降低服务器存储计算时延和功耗开销。

基于上述目的，本发明实施例的第一方面提供了一种网络资源协同方法，包括执行以下步骤：

以对网络资源的终端数量、任务大小、和任务个数的操作作为动作、以网络资源的时延和功耗作为状态来初始化sarsa算法的当前Q值；

在当前状态下随机选取当前动作，并基于当前动作来确定下一状态；

比较当前状态与下一状态，并基于当前状态与下一状态的关系来确定当前奖励；

基于下一状态与下一动作来确定下一Q值，并基于当前奖励和下一Q值来更新当前Q值；

重复执行上述步骤直到满足结束条件，并基于当前Q值确定行为策略以控制网络资源。

在一些实施方式中，基于当前状态与下一状态的关系来确定当前奖励包括：响应于下一状态超过当前状态而将当前奖励确定为正向奖励，响应于下一状态不足当前状态而将当前奖励确定为反向奖励，响应于下一状态持平当前状态而将当前奖励确定为中性奖励。

在一些实施方式中，基于当前奖励和下一Q值来更新当前Q值包括：基于遗忘参数将下一Q值加权叠加到当前奖励以获得中间值，并进一步基于学习参数将中间值和当前Q值归一化来更新当前Q值。

在一些实施方式中，结束条件包括：重复执行次数达到迭代阈值、或当前Q值收敛。