[发明专利]毫米波大规模MIMO智能混合波束成形设计方法

说明书

本发明公开了一种毫米波大规模MIMO智能混合波束成形设计方法，该方法构造了一个用于联合优化模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体，该智能体通过与环境交互进行学习，输入信道信息以及上一时刻模拟预编码矩阵和模拟合并矩阵的相位，输出当前时刻模拟预编码矩阵和模拟合并矩阵的相位，利用信道信息、模拟预编码矩阵和模拟合并矩阵计算数字预编码矩阵，通过最小均方误差准则计算数字合并矩阵。本发明的一种毫米波大规模MIMO智能混合波束成形设计方法学习训练时间短，能够充分利用信道的空间特性，有效提升频谱效率。

技术领域

本发明涉及一种毫米波大规模MIMO智能混合波束成形设计方法，属于点对点MIMO下行系统自适应传输技术领域。

背景技术

大规模多输入多输出(MIMO)作为一种可以提高网络传输速率和能量效率的有效方法，被视为新一代无线通信网络的关键技术之一。大规模MIMO系统能充分利用空间资源，在不增加频谱资源和天线发射功率的情况下，大幅提高系统容量。

然而，在实际应用中，大规模MIMO系统仍面临着诸多挑战。传统的全数字波束成形结构需要为每一根发射天线和接收天线配备一个射频链路用于模数转换和上下变频，天线数的增大使得基站侧所需射频链路数增大，带来系统成本的提高，尤其是射频硬件昂贵的毫米波通信系统。混合预编码技术将全数字预编码拆分为高维的模拟预编码和低维的数字预编码，模拟预编码可由简单的相移器实现，数字预编码维数较低，仅使用很少的射频链路即可，可在一定程度上缓解这一问题。

目前，基于数值优化方法的混合预编码算法存在计算复杂度高的问题，且难以充分利用信道的空间特征。基于深度学习的混合预编码设计方法能够以较低的计算复杂度得到逼近最优的性能。然而，该类方法需要提前准备大量的训练数据，在天线阵列维度较高且路径数变化较大的情况下训练数据的获得极其困难，且该类方法泛化性较差，信道特征的微小变化将带来性能的急剧下降。因此，需要新的低复杂度和高性能混合波束成形算法来进一步解决这些问题。

发明内容

技术问题：为了克服现有技术中的不足，本发明针对毫米波大规模MIMO系统，利用深度强化学习进行混合预编码设计。深度强化学习智能体可通过与环境交互有效地学习到解决复杂问题的最优行为策略，从而以较低的计算复杂度取得逼近最优的频谱效率，并且对信道的变化具有较好的鲁棒性。

技术方案：根据本发明提出的一种毫米波大规模MIMO智能混合波束成形设计方法，包括以下步骤：

步骤一、t＝0时刻，考虑毫米波大规模MIMO系统，基站配备N_T根天线，将N_s个数据流发送给配备N_R根天线的用户，发送端具有条射频链路，接收端具有条射频链路，基站已知其与用户间的信道矩阵H，初始化用于生成模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体a，随机生成初始模拟预编码矩阵和模拟合并矩阵并令t＝t+1，

所述深度强化学习智能体a包括：动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′和一个容量为N_D的经验池D，经验池中存放智能体学习的样本，动作现实网络A和动作目标A′根据当前环境状态输出当前最佳动作，其输入是的向量，输出是的向量。评价现实网络C和评价目标C′根据当前状态- 动作对输出该状态-动作对的价值函数，其输入是的向量，输出是标量，A′与C′的网络结构分别与A和C的网络结构相同，A′与C′的网络参数均是每隔固定时隙通过A和C的网络参数软更新得到；

步骤二、在t时刻，令当前环境状态为：

其中，表示t-1时刻所得的模拟预编码矩阵，表示t-1时刻所得的模拟合并矩阵，vec(·)表示将矩阵列向量化，(·)^T表示转置，arg(·)表示取相位；