[发明专利]一种超密集网络中的强化学习的资源分配方法

摘要

一种超密集网络中的强化学习的资源分配方法。本发明实施涉及5G移动通信中超密集网络领域，提供了一种密集部署网络中家庭基站与宏基站、家庭基站与家庭基站、家庭基站与移动用户之间资源分配的方法。本方法通过功率控制实现，将每个毫微微小区看成一个智能体，联合调整家庭基站的发射功率，避免密集部署的家庭基站以最大功率发送对宏基站、相邻基站构成的严重干扰，最大化系统吞吐量。考虑用户的时延QoS,用可对用户的时延提供保障的“有效容量”代替传统的“香农容量”。采用超模博弈模型，这样使整个网络功率分配达到纳什均衡。使用了Q-Learning的强化学习方法，使家庭基站的具备了学习功能，从而能实现最优的功率分配。应用本发明，在满足用户时延的前提下可有效的提升超密集网络的系统容量。

主权项

一种超密集网络中的强化学习的资源分配方法，其特征在于包括以下步骤：步骤1：初始化学习因子,对于每个状态s以及每个动作a,初始化评价函数,传输策略，猜想，正标量；步骤2：初始化家庭基站状态s，发射功率P、信干比等；步骤3：根据传输策略，选定当前过程的动作；步骤4：根据目标接收者的反馈信息检测当前的信干比，通过识别当前传输功率级别和比较当前信干比是否大于门限来确定下一时刻状态；步骤5：如果家庭用户当前的信干噪比大于阈值，通过回报函数计算回报（回报，即效能函数），否则，将回报置零；步骤6: 对步骤四中得到的回报值求期望，利用基于猜想Q的更新公式，得到新的Q值，更新评价函数；步骤7：根据步骤五中得到的Q值，根据贪婪策略，更新用户的策略；步骤8：利用猜想更新公式，得到其他家庭基站下一时刻行为的猜想，使用户进入下一个状态，转入步骤二；步骤9：终止此次学习过程，每个家庭基站的无线资源分配完成，准备下一次资源调度。