[发明专利]超密集组网多业务切片资源分配方法及装置

说明书

本发明提供一种超密集组网多业务切片资源分配方法及装置，包括：获取多智能体强化学习模型，该模型在各微基站上部署策略网络和价值网络，预先求解发射功率均衡解，策略网络以微基站传输速率和发射功率作为状态参数，以各微基站关联参数集合和预测的其他微基站发射功率集合作为动作参数；每个微基站获取自身状态参数，生成相应动作策略，价值网络根据全局信息对相应微基站生成的动作策略计算预估Q值，用于策略网络参数的更新；以最大化奖励值为目标构建预估Q值和实际Q值的损失函数，对价值网络进行参数更新，直至模型到达预设性能要求；将各微基站自身状态参数输入训练好的多智能体强化学习模型，生成相应动作策略，以实现多业务切片资源分配。

技术领域

本发明涉及通信技术领域，尤其涉及一种超密集组网多业务切片资源分配方法及装置。

背景技术

网络切片技术已经成为第五代移动网络(Fifth Generation Mobile Network，5G)的关键技术之一，在下一代移动网络以及其他技术领域中，网络对用户的差异性服务提出了更高的灵活性、隔离性、隐私性和定制性等需求，与此同时，提供特定服务的小范围网络的重要性也会增加，以满足不同场景和不同人群的需求。

新兴的解决方案之一是引入宏微基站异构的超密集组网，满足用户的传输容量和覆盖范围需求。基站的超密集组网可以在一定程度上提高系统的频谱效率，并通过快速资源调度进行动态无线资源调配，并在微基站(Small Base Station，SBS)处复用宏基站(Macro Base Station，MBS)的许可频谱，提高系统无线资源利用率和频谱效率，但同时也带来了系统干扰和系统成本问题。为了提供可靠的服务，微基站需要获取宏基站频谱的复用许可权，这需要在宏基站和微基站之间进行干扰协调，以保证其运营不受有害干扰的影响。

因此，亟需一种在保证用户通信质量和通信需求的前提下，减少微基站竞争干扰，优化无线资源分配的方法。

发明内容

鉴于此，本发明实施例提供了一种超密集组网多业务切片资源分配方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有技术在提高系统无线资源利用率和频谱效率时导致的系统干扰和系统成本的问题。

一方面，本发明提供了一种超密集组网多业务切片资源分配方法，其特征在于，所述超密集组网包括至少一个宏基站，每个宏基站还连接服务多个微基站；所述微基站的用户复用对应宏基站的切片资源，所述方法基于所述微基站与所述宏基站之间产生跨层干扰，以及相邻微基站之间产生同层干扰进行多业务切片资源分配；所述方法包括以下步骤：

获取多智能体强化学习模型，所述多智能体强化学习模型在每个微基站上均部署策略网络和价值网络；每个策略网络以对应单个微基站中各用户的传输速率以及总发射功率作为状态参数构建状态空间；获取用于表示各微基站中用户是否复用宏基站中资源块的关联参数，并以各微基站的关联参数集合和预测的其他各微基站的发射功率集合作为动作参数构建动作空间；每个微基站获取自身状态参数，根据所述策略网络选择相应的动作，每个微基站的价值网络根据相应微基站的状态参数和选择的动作以及其他微基站的状态参数和动作生成预估Q值，并用于对相应微基站的策略网络进行参数更新；以最大化奖励值为优化目标构建所述预估Q值与模型实际Q值的损失函数，对所述价值网络进行参数更新；直至到达预设性能要求；

其中，在状态更新过程中，所述宏基站根据跨层干扰价格和用户在微基站中复用资源块产生的跨层干扰构建宏基站收益计算式；所述微基站根据所述关联参数、资源块固定带宽长度、信号与干扰加噪声比、同层干扰价格、同层干扰、所述跨层干扰价格和跨层干扰构建微基站收益计算式；将所述宏基站作为领导者，将各微基站作为追随者构建非合作博弈；固定所述关联参数的值，采用逆向归纳法对所述微基站收益计算式进行求解，得到各微基站的发射功率均衡解，以用于更新每个策略网络的状态空间；将所述发射功率均衡解代入所述宏基站收益计算式，得到所述跨层干扰价格均衡解；

将各微基站的状态参数输入所述多智能体强化学习模型，生成相应的动作策略，实现多业务切片资源分配。