[发明专利]一种知识迁移强化学习网络切片通感算资源协同优化方法

说明书

本发明公布了一种知识迁移强化学习网络切片通感算资源协同优化方法，旨在针对移动边缘网络切片用户差异化服务需求，在考虑网络切片通感算资源、用户设备时延和能耗等约束限制基础上，以用户设备总吞吐量最大化为优化目标，建立网络切片通感算资源协同优化问题模型。在此基础上，将上述优化问题建模为多智能体随机博弈过程，研究多智能体间知识迁移强化学习算法，提升协同优化策略探索效率和可扩展性，实现多样化业务场景下网络切片通感算资源协同优化。

技术领域

本发明属于无线通信技术领域，具体涉及一种知识迁移强化学习网络切片通感算资源协同优化方法。

背景技术

随着5G移动通信与物联网的迅猛发展，海量物联设备和泛在连接需求正驱动着移动通信向智能化演进。作为一种新兴的网络范式，移动边缘网络通过将通信资源和计算资源迁移到网络边缘，能够显著减少传输能耗、网络拥塞和处理时延，推动着通信、感知与计算的深度融合。

在移动边缘网络中，网络切片通过共享通信、感知、计算和基础设施等资源，可以满足低时延高可靠的多样化需求。现有网络切片资源分配方法大致从以下两个方面展开研究。首先是资源优化类型，相对于单一资源优化策略，多维资源协同优化方法较为复杂，且以集中方式为主，通信和控制开销较多。其次是资源分配方式，与静态资源分配方式相比，动态分配策略依据网络环境变化，可实现资源实时动态优化。在实际移动边缘网络中，网络切片性能常常与多种类型资源相关，资源复杂依赖关系较难用准确的数学模型表征；无线信道状态随机性和切片用户业务流量时变性等高维动态网络状态，亦制约着网络切片服务质量提升。

强化学习作为一种免模型的方法，以其高维空间下强大的决策能力，被认为是解决上述问题有前景的方案之一。然而，方法较少关注通感算融合下多维资源安全高效优化问题。

发明内容

为了克服高维动态网络制约网络切片服务质量的难题，本发明的目的在于提出通感算融合下网络切片多维资源安全高效优化方法。

为了达到上述目的，本发明所采用的技术方案是：一种知识迁移强化学习的网络切片通感算资源协同优化方法，其特征在于，包括如下步骤：

步骤1，构建网络切片通感算融合资源协同优化模型；

步骤1所述构建网络切片通感算融合资源协同优化模型，具体如下：

假设M个基站共享K个资源块、共享F个计算资源，共可支持N个边缘感知设备接入；第i个基站在时刻t拥有个资源块、个计算资源和个边缘设备(EdgeDevice,ED)；其中，l∈[e,u,m]，l＝e表示增强移动宽带网络切片类型(enhanced MobileBroad Band,eMBB)，l＝u表示海量机器类通信网络切片类型(massive Machine TypeCommunication,mMTC)，l＝m表示超可靠低时延通信(ultra-Reliable Low-LatencyCommunication,uRLLC)网络切片类型。

在时刻t，定义第i个基站接入第j个边缘设备的二元资源块分配变量为若则表明基站i为EDj分配第k个资源块；若则表明基站i为EDj未分配第k个资源块。考虑每个资源块最多分配给一个边缘设备，有

定义第i个基站在时刻t接入第j个边缘设备的二元计算资源分配变量若则表明基站i为EDj分配计算资源f；若则表明基站i为EDj分配计算资源f。考虑每个计算资源最多分配给一个边缘设备，有

在时刻t，考虑到l∈[e,u,m]，三种网络切片类型的性能差异性，eMBB切片关注所有EDs吞吐量之和uRLLC切片侧重所有EDs时延之和考虑到同一时刻大部分mMTC切片设备处于休眠状态，mMTC切片只关注所有EDs吞吐量之和于是，为平衡上述切片差异化需求，在通信资源、感知资源、计算资源、用户总时延和总能耗等限制下，以所有用户吞吐量之和最大化为优化目标，步骤1所述网络切片通感算融合多维资源协同优化模型为：