[发明专利]一种超密集多接入点的动态协同传输方法

说明书

本发明公开了一种超密集多接入点的动态协同传输方法，包括以下步骤：S1.在实时网络状态下的对多用户接入和功率分配问题进行建模；S2.根据步骤S1中的模型，基于树状结构策略梯度进行多智能体强化学习，得到成熟的神经网络；S3.利用成熟的神经网络，实现超密集多接入点的动态协同传输。本发明在多个用户竞争子载波资源时，实现了多接入点的协同传输，避免了用户竞争导致的资源冲突，从而避免了通信链路受到影响无法传输数据的情况，从而提高了用户服务质量。

技术领域

本发明涉及通信领域，特别是涉及一种超密集多接入点的动态协同传输方法，

背景技术

现有大多数研究方法只能解决静态网络环境中信道状态信息已知情况下UDN的用户接入问题。面对真实网络环境中，有限的回程容量以及快速变化的信道带来的挑战，近年来，深度强化学习(DRL)被广泛应用于大型网络，以解决信道状态信息不断变化的用户接入问题。根据采用的算法不同，基于DRL的用户接入和功率分配问题可分为基于值和基于策略的方法。其中，深度Q学习(DQN)是目前最流行的基于值的DRL方法。在DQN中，Q值代表了给定状态下执行动作的质量，并基于Q值选择当前的动作。在UDN中，研究基于DRL的用户接入和功率分配方案面临的主要挑战是，随着网络规模的增加，离散的动作空间将变得非常庞大。

在UDN中，用户密度将达到每平方千米数百个，其采取的离散动作随用户数呈指数增长。因此，基于DRL的UDN通信系统需要更多的训练样本才能达到统计效率，较大的动作空间也容易导致学习算法收敛到次优策略。为了降低复杂度，一种在连续空间选择离散动作的方法被提出，通过最近邻连续空间的候选项目选择动作。然而，该方法存在学习到的连续动作与实际期望的离散动作的不一致性，从而导致不满意的结果。针对这一问题，树状结构的策略梯度推荐架构运用在推荐系统中，所有待推荐的项目被分类构建一个平衡分层聚类树，选择推荐的项目则可以描述为寻找从根到树的某个叶节点的路径。结果表明，该架构大大降低了训练阶段和决策阶段的时间复杂度，然而聚类算法的选取也严重影响了系统的性能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种超密集多接入点的动态协同传输方法。

本发明的目的是通过以下技术方案来实现的：一种超密集多接入点的动态协同传输方法，包括以下步骤：

S1.在实时网络状态下的对多用户接入和功率分配问题进行建模；

S2.根据步骤S1中的模型，基于树状结构策略梯度进行多智能体强化学习，得到成熟的神经网络；

S3.利用成熟的神经网络，实现超密集多接入点的动态协同传输。

进一步地，所述步骤S1包括：

考虑K个AP和N个用户，随机部署而组成的UDN场景，N个用户中包括N_u个UU和N_d个DU；网络中整个带宽被平均划分为C个子载波，记为每个AP都具有C个正交的子载波资源；其中AP是指接入点，UU是指上行用户，DU是指下行用户，UDN是指超密集网络；

设用户能够在不同的子载波上接入多个AP，而每个AP同一子载波上最多允许接入一对UU和DU；所有AP工作在混合双工(SD)模式下与接入其中的半双工UU和DU进行通信；

考虑到在具有有限资源的UDN中，多个用户竞争子载波资源必然会出现冲突；一旦发生冲突，所涉及的通信链路将无法传输数据，从而影响用户服务质量，故构建上行传输模型和下行传输模型，并实现多用户接入和功率分配问题建模。

其中，所述构建上行传输模型包括：

对于上行传输，设在t时隙，第n个UU接入第k个AP的第c个子载波，并以功率为发送信号，其中第k个AP中第n个UU在第c个子载波上的上行SINR表示为