[发明专利]一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法

说明书

本发明公开了一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，包括：构建无蜂窝大规模MIMO系统，以AP与UE之间的功率控制系数为优化参数，提出下行链路功率分配的优化问题；将优化问题建模为一个马尔可夫决策过程，并构建可以与强化学习模型交互的无蜂窝大规模MIMO环境；建立DDQN网络拟合用于评价功率控制系数的Q函数，与无蜂窝大规模MIMO环境交互，训练Dueling DDQN网络，使得MDP问题的累积收益最大，最终得到各个AP与UE之间的功率控制系数。与传统的基于优化的算法相比，本方法通过建立环境，让强化学习模型与之交互的方式获得优解，而无需针对问题建立精确的模型。

技术领域

本发明涉及无蜂窝大规模MIMO功率分配领域，特别是涉及一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法。

背景技术

随着无线通信网络的快速发展，网络的覆盖率成为了衡量国家科学技术发展程度的重要指标之一。从无人驾驶、无人机等工业领域到智慧医疗、网络教育等生活领域，无线网络渗透在人类生活的方方面面，提高用户服务的质量也成为了无线网络领域的首要任务。在5G网络的建设中，主要通过增强网络部署的密集性来提高用户传输速率，具体方法包括缩小蜂窝规模与增加基站的天线数目。无蜂窝大规模MIMO系统是一种具有大量发射/接收天线的基站的通信技术,与传统MIMO系统相比，无蜂窝大规模MIMO系统中取消了蜂窝的划分，所有的AP利用相同的时间-频率资源同时服务所有的用户。由于信号处理复杂度较低，且为用户提供的服务质量几乎相同，无蜂窝大规模MIMO系统被普遍视为一种很有潜力的无线网络架构。在上行链路传输中，所有用户在相同的时频资源上向AP传输数据。AP利用信道估计将所需信号从接收信号中分离出来。在下行链路传输中，AP用相同的时频资源为用户提供服务，并结合预编码、功率分配技术改善用户服务质量。

在无蜂窝大规模MIMO系统中，功率分配策略是抑制用户间干扰、提高用户传输速率的重要途径。功率分配策略在中央处理单元(Central Processing Unit,CPU)处进行，CPU为AP指定发送给UE信号的功率，合适的发送功率有助于系统中的用户获得较高的通信质量。现有的功率分配方法主要是基于优化或迭代算法的，这类算法通常需要大量的计算资源与时间成本。目前，随着深度学习领域的发展，也出现了许多基于学习的功率分配算法。有监督学习方法通常以传统优化算法，如二分法等的功率分配结果作为训练的标签，用深度神经网络获得次优的功率分配策略。这类算法依赖于大量数据样本，算法性能取决于采用的功率分配标签，并不能得到最优解。时间复杂度与算法性能之间的权衡成为了功率分配优化问题中关键。

为了在降低时间复杂度的同时获得较好的用户服务质量，本发明基于DuelingDDQN提出了一种功率控制系数的选择算法。本方法无需使用传统算法产生标签，而是用强化学习算法训练网络，得出功率分配的策略，在减少计算时间的同时，保证了用户的服务质量。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，用以解决背景技术中提及的技术问题。本发明针对无蜂窝大规模MIMO场景中下行链路数据传输阶段，基于Dueling DDQN模型的强化学习功率分配方法。经过信道建模、建立MDP模型、训练Dueling DDQN网络后，最终得到无蜂窝大规模MIMO的功率控制系数。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，包括如下步骤：

步骤S1、构建无蜂窝大规模MIMO系统，再以该无蜂窝大规模MIMO系统中的下行链路功率控制系数为优化对象，以及以最大化用户下行链路速率之和为目标，构建优化问题；

步骤S2、将所述优化问题建模为一个马尔可夫决策过程，并且构建无蜂窝大规模MIMO环境；