[发明专利]一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法

权利要求书

1.一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，其特征在于，包括如下步骤：

步骤S1、构建无蜂窝大规模MIMO系统，再以该无蜂窝大规模MIMO系统中的下行链路功率控制系数为优化对象，以及以最大化用户下行链路速率之和为目标，构建优化问题；

步骤S2、将所述优化问题建模为一个马尔可夫决策过程，并且构建无蜂窝大规模MIMO环境；

步骤S3、利用Dueling DDQN算法框架构建功率分配模型，该功率分配模型包括交互环境模块和深度强化学习模块，所述交互环境模块用于模拟步骤S2中构建的基于马尔可夫决策过程的无蜂窝大规模MIMO环境，所述深度强化学习模块包括缓存区、Dueling DDQN网络以及动作选择策略子模块；

步骤S4、首先以当前系统状态作为所述Dueling DDQN网络的输入，再以此状态下对应AP的功率控制系数的Q值，作为网络输出，然后再基于网络输出的Q值与探索策略，为当前AP选择功率控制系数，最后利用强化学习算法训练Dueling DDQN网络，使得马尔可夫决策问题的累积收益最大化。

2.根据权利要求1所述的一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，其特征在于，在所述步骤S1中，所述构建无蜂窝大规模MIMO系统具体包括：

步骤S101、首先设定AP和UE的个数，以及相应的分布范围，然后再对AP与UE之间的通信信道进行建模，确定大尺度衰落与小尺度衰落模型，最后设定无蜂窝大规模MIMO系统以时分复用的方式进行工作，其中，所述无蜂窝大规模MIMO系统的工作过程包括：上行链路训练、下行链路数据传输与上行链路数据传输三个阶段；

步骤S102、对上行链路训练阶段进行建模，具体包括：

首先为UE确定上行导频序列，然后AP端根据接收数据对信道系数进行最小均方误差估计；

步骤S103、对下行链路数据传输阶段建模，具体包括：

首先AP端基于信道估计对待传输数据进行预编码，然后再引入功率控制系数，通过该功率控制系数对数据进行加权，再同时发送至各个UE端；

步骤S104、对上行链路数据传输阶段建模，具体包括：

首先在UE端用功率控制系数对待发送数据进行加权，然后同时发送至各个AP端，AP端将接收的数据转发至CPU进行解码。

3.根据权利要求2所述的一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，其特征在于，在所述步骤S1中，通过用户下行链路信噪比和传输速率的表达式，以及功率限制条件，来构建所述优化问题。

4.根据权利要求3所述的一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，其特征在于，所述用户下行链路信噪比的表达式为：

公式中，表示每个导频符号的归一化信噪比，η_mk表示为功率控制系数，并且m＝1,…,M,k＝1,…K，其中，K表示为该系统中有K个用户，M表示为该系统中有M个无线接入点；表示为导频序列，β_mk表示大尺度衰落。

5.根据权利要求4所述的一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，其特征在于，所述传输速率的表达式为：

公式中，表示为第k个UE的传输速率，SINR_k表示为k个UE的下行链路信噪比。

6.根据权利要求5所述的一种基于深度强化学习的无蜂窝大规模MIMO功率分配方法，其特征在于，所述优化问题的表达式为：

η_mk≥0,k＝1,…,K,m＝1,…,M。