[发明专利]一种5G物联网信道相干且有限反馈条件下的用户调度方法

说明书

本发明公开了一种5G物联网信道相干且有限反馈条件下基于强化学习的用户调度方法，该方法包括：将5G物联网信道相干环境下用户容量具有弹性这一结论应用于设计用户调度算法中，使得系统可以同时容纳更多的用户，节约了空间资源；根据残留干扰公式，推导相应的用户可达速率表达式，降低计算复杂度，设计以最大化用户可达速率为目标的码字挑选准则；定义用户终端的动作价值为其可实现用户速率的期望，通过Q‑learning方法来估计，将用户终端的Q值定义为其动作价值置信区间的上界，并以Q值的大小作为用户选择的基准。该方法不需要尝试不同的用户组合来计算“速率和”，计算复杂度大大降低且不影响系统吞吐量。

技术领域

本发明涉及一种5G物联网信道相干且有限反馈条件下的用户调度方法，属于无线通信技术领域。

背景技术

多输入多输出(Multiple Input Multiple Output,MIMO)是移动与无线通信系统的关键技术之一，在对现有频谱资源充分利用的基础上可以成倍提高系统吞吐量。在多用户MIMO中如何高效地进行用户选择一直是研究的热点。

现有的用户选择算法大多以普通MIMO信道不相干为背景进行研究，而实际应用场景也可能处于信道相干的情况下，如果仍然按信道不相干进行用户选择，这会导致空间资源的浪费。同时在大量用户和大量收发天线的场景中，有限的上行链路频谱资源因反馈量庞大而负载沉重。

发明内容

针对上述问题，针对信道相干条件下的MU-MIMO有限反馈系统，本发明提出了一种基于强化学习的用户调度方法。定义用户终端的动作价值为其可实现用户速率的期望，通过Q-learning方法来估计。本发明将用户终端的Q值定义为其动作价值置信区间的上界，并以Q值的大小作为用户选择的基准。与传统的贪婪算法相比，该方法不需要尝试不同的用户组合来最大化吞吐量，也不需要重复计算用户可达到的速率，计算复杂度更低。

为达到上述目的，本发明所采用的技术方案是：

一种5G物联网信道相干且有限反馈条件下的用户调度方法，所述方法在信道相干且有限反馈条件下的MU-MIMO系统中基于Q-learning对用户进行迭代处理，迭代过程：

步骤1，根据前一迭代周期每个用户的可达速率，计算当前迭代周期每个用户的Q值；

步骤2，按Q值从大至小的顺序，依次将每个用户放入调度用户集中，并从第二顺位放入调度用户集的用户开始，对当前放入调度用户集的用户依次进行如下处理：

判断当前放入调度用户集的用户是否满足预设条件，若是将其保留在调度用户集中，否则将当前放入调度用户集的用户移出调度用户集；其中，所述预设条件为调度用户集中每个用户除自己以外其他用户的联合信道矩阵的秩小于基站天线数；

步骤3，重复步骤2，直至当前调度用户集中每个用户的动作价值估计值收敛于其动作价值真实值，输出收敛时的调度用户集作为最终用户调度结果。

进一步地，在初始迭代周期内，依次将用户放入调度用户集中，并从第二个放入调度用户集的用户开始，判断当前放入调度用户集的用户是否满足预设条件，若是则将其保留在调度用户集中，否则将当前放入调度用户集的用户移除调度用户集。

进一步地，用户m在迭代周期t的动作价值估计值和真实值q_m(t)分别为：

q_m(t)＝E[r_m(t)]

其中，表示用户m在迭代周期t-1的动作价值估计值，表示用户m在迭代周期t时已被放入调度用户集的次数；用户m的初始动作价值β∈(0，1)表示折扣因子；a(t)表示迭代周期t内的调度用户集；r_m(t)表示用户m在迭代周期t的可达速率，E[.]表示求期望。

进一步地，用户m在迭代周期t+1的Q值为：