[发明专利]毫米波大规模MIMO智能混合波束成形设计方法

权利要求书

1.一种毫米波大规模MIMO智能混合波束成形设计方法，其特征在于，包括以下步骤：

步骤一、t＝0时刻，考虑毫米波大规模MIMO系统，基站配备N_T根天线，将N_s个数据流发送给配备N_R根天线的用户，发送端具有条射频链路，接收端具有条射频链路，基站已知其与用户间的信道矩阵H，初始化用于生成模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体a，随机生成初始模拟预编码矩阵和模拟合并矩阵并令t＝t+1；

所述深度强化学习智能体a包括：动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′和一个容量为N_D的经验池D，经验池中存放智能体学习的样本，动作现实网络A和动作目标网络A′根据当前环境状态输出当前最佳动作，其输入是的向量，输出是的向量，评价现实网络C和评价目标网络C′根据当前状态-动作对输出该状态-动作对的价值函数，其输入是的向量，输出是标量，A′与C′的网络结构分别与A和C的网络结构相同，A′与C′的网络参数均是每隔固定时隙通过A和C的网络参数软更新得到；

步骤二、在t时刻，令当前环境状态为：

其中，表示t-1时刻所得的模拟预编码矩阵，表示t-1时刻所得的模拟合并矩阵，vec(·)表示将矩阵列向量化，(·)^T表示转置，arg(·)表示取相位；

步骤三、将状态s^(t)输入动作现实网络A，得到动作A(s^(t))，其中A(·)表示网络A的函数，然后加上服从标准正态分布的噪声矢量其中得到t时刻动作a^(t)＝A(s^(t))+n^(t)，并根据下式的对应关系生成t时刻的模拟预编码矩阵和模拟合并矩阵

步骤四、利用t时刻的模拟预编码矩阵和模拟合并矩阵求得相应等效信道矩阵并对其做奇异值分解其中(·)^H表示共轭转置，是一个的酉矩阵，是一个的对角矩阵，对角线上的奇异值按照降序排列，是一个的酉矩阵，rank(·)表示矩阵的秩，进而得到t时刻的数字预编码矩阵其中V^(t)是的前N_s列构成的矩阵，||·||_F表示Frobenius范数，利用信道矩阵H、t时刻的数字预编码矩阵t时刻的模拟预编码矩阵和t时刻的模拟合并矩阵计算t时刻的数字合并矩阵：

其中，Y^(t)是t时刻的接收信号矢量的协方差矩阵，是t时刻的接收端全数字最小均方误差合并矩阵，采用下式计算：

ρ是平均发射功率，是噪声方差，表示N_R×N_R的单位矩阵，表示N_s×N_s的单位矩阵，利用下式计算t时刻的频谱效率：

其中，det(·)表示行列式，令智能体a的奖励函数r^(t)＝R^(t)，并得到t+1时刻状态：

步骤五、若|R^(t)-R^(t-1)|≤ε，或者t＞L，则停止迭代，并转到步骤九，其中ε和L是预先设定的判断收敛性的指标；否则，进入步骤六；

步骤六、将＜s^(t)，a^(t)，r^(t)，s^(t+1)＞作为样本存入经验池中，若经验池已存满，则用该样本＜s^(t)，a^(t)，r^(t)，s^(t+1)＞替换最先存入的样本，判断是否满足t≥M，其中M表示从经验池D中采样的批量大小，若满足则进入步骤七，否则令t＝t+1并转至步骤三；

步骤七、智能体a将状态-动作对(s^(t)，a^(t))输入评价现实网络C中，输出评价值Q^C(s^(t)，a^(t))，其中Q^C(·，·)表示评价现实网络C所对应的函数，从经验池D中采样批量大小为M的样本ε＝{e₁，...，e_M}，其中t_i表示第i个采样样本所对应的时刻，智能体通过随机梯度下降来更新网络A和C的参数，其损失函数分别为：

其中，θ^A表示动作现实网络A的参数，θ^C表示评价现实网络C的参数，

其中，γ∈[0，1]为预先设定的折扣因子，Q^C′(·，·)表示评价目标网络C′所对应的函数，A′(·)表示动作目标网络A′所对应的函数；

步骤八、对目标网络A′和C′进行软更新，即：

θ^A′＝τθ^A+(1-τ)θ^A′

θ^C′＝τθ^C+(1-τ)θ^C′

其中，θ^A′表示动作目标网络的参数，θ^C′表示评价目标网络的参数，τ＜＜1，令t＝t+1；

步骤九、将当前时刻t的模拟预编码矩阵数字预编码矩阵模拟合并矩阵数字合并矩阵作为混合预编码矩阵和混合合并矩阵。