[发明专利]一种信道状态不确定条件下分层异构网络的稳健分层博弈学习资源分配方法

摘要

一种不完美信道信息的分层异构蜂窝网络下稳健分层博弈学习资源分配方法，属于无线通信技术领域。针对现有分层异构网络的干扰控制问题研究大多都是基于理想化的完美信道信息和随信道不确定度变化带来的用户收益减少的问题，该资源分配方法提出了一种基于鲁棒双层斯坦伯格博弈的离散策略资源分配方案。通过鲁棒处理和经济性约束的方式在保证宏蜂窝用户的QoS(服务质量)的前提下，使得上层蜂窝对于下层小微蜂窝的频谱共享进行收费，最大化上层的效用，使得频谱利用的高效性和稳健性得到最佳的折中。相比只假设信道信息完美的资源分配方式，该方法使整个系统可随着信道变化情况，自适应获取优越的策略选择结果，使得系统获得稳健收益和QoS保证。

主权项

一种信道状态不确定模型下分层异构微蜂窝网络中的无线资源双层分配优化框架及一种分布式分层学习算法。由在异构蜂窝网络的通信系统来实现：该系统包括宏蜂窝系统和小微蜂窝系统两部分，宏蜂窝系统包括基站MBS和若干宏蜂窝用户；小微蜂窝系统包括L个小微蜂窝基站SBS和若干小微蜂窝用户，每个基站在一个时隙只服务一个小蜂窝用户。因为SBS与MBS使用相同的频谱，就不可避免的发生不同基站间的跨层和同层干扰。W表示带宽，σ₀代表接收的高斯噪声功率，p_i表示下层SBS i的发射功率，p_‑i表示除了SBS i外的其他SBS的功率策略，h_ji表示SBS j对SBS i用户干扰的信道增益，则代表使用同频信道的其他基站对SBS i带来的干扰。g_i0表示SBS i对MBS用户的信道增益，u_i是能耗单位定价，λ₀单位干扰定价，相当于SBS要为对MBS的干扰付费，并限定SBS对MBS的累积干扰必须小于门限值Z。该方法的具体步骤如下：1)下层小蜂窝效用及优化问题表示$u_i(p_i,p_{-i},u_i,{\mathrm{\λ}}_0)=W\log (1+\frac{p_i{h}_{ii}}{\underset{j\≠i}{\Σ}{p}_j{h}_{ji}+{\mathrm{\σ}}_0})-u_i{p}_i-{\mathrm{\λ}}_0{g}_{i0}{p}_i---\left(1\right)$由3部分组成，分别表示SBS的容量收益，功耗代价和SBS对MBS带来的干扰，其中下层用户必须选择合适的功率策略最大化自己的效用，以达到收益和代价的平衡。对于每个SBS用户而言，问题可建模为：问题1：2)上层宏蜂窝效用及优化问题表示MBS要在其干扰可承受的范围内最大化自身收益，所以上层的目标可建立为带约束优化问题，即：问题2：3)干扰信道状态信息不完全可知时的鲁棒性优化问题本发明利用信道不确定模型描述无线信道的随机动态性。基站可通过信道测量技术(channel‑quality indicator measure)获得自己的信道增益h_ii，但并不确切知道同层干扰的信道增益h_ji和跨层干扰的信道增益g_i0。我们把信道增益表示为标称估计值和不确定值的求和形式，即问题3：问题4：4)分布式双层Q学习算法设MBS的干扰价格策略集为π₀，SBS的功率分配策略集为π′_i，其中SBS的最大传输功率p_max。设置每个时间段由T个时隙组成，上层迭代时间段数C。及上层迭代次数为C，每次迭代记作c；下层迭代次数为T，每次迭代记作t。在Q学习过程中，用户的策略被参数化为Q函数，它表示每个特定策略的相对效用。定义用户i在第t次迭代时基于策略概率所选的策略的Q函数为通过用户之间的策略和环境交互，得到每个策略的相应回报奖励，更新Q函数。在选择策略后，相应的Q值通过式(7)更新，$Q_i^{t+1}\left(s_{i,a_i}^{t+1}\right)=(1-{\mathrm{\κ}}_i^t)Q_i^t\left(s_{i,a_i}^t\right)+{\mathrm{\κ}}_i^t{u}_i(s_{i,a_i}^t,{\mathrm{\π}}_{-i}^t),---\left(7\right)$其中κ′_i代表学习速率，满足是用户i在第t次迭代选择策略的期望回报，如式(8)所示。$u_i(s_{i,a_i}^t,{\mathrm{\π}}_{-i}^t)=\underset{a_{-i}^t\∈S_{-i}}{\Σ}{u}_i(s_{i,a_i}^t,S_{-i}^t)\underset{j\∈N\∪\left\{0\right\}/i}{\Π}{\mathrm{\π}}_{j,a_j}^t,---\left(8\right)$其中且每个BS用户根据式(9)的玻尔兹曼分布来更新其策略。${\mathrm{\π}}_i^t\left(s_{i,a_i}\right)=\frac{\exp \[Q_i^t\left(s_{i,a_i}^t\right)/{\mathrm{\ψ}}_i\]}{\underset{a_i\∈S}{\Σ}\exp \[Q_i^t\left(s_{i,a_i}^t\right)/{\mathrm{\ψ}}_i\]},---\left(9\right)$其中ψ_i＞0是温度系数，用来控制策略选择是倾向探测还是利用。根据式(7)和(9)，上层MBS通过迭代更新对应Q函数。假设上层MBS每c时段更新一次定价策略。在双层学习迭代算法中，作为唯一的公共信息，上层的MBS首先向下层所有SBS发布定价。下层接收到干扰价格后，通过学习算法找到各自的最优响应功率策略，然后在每个时间段终点反馈回上层MBS，以便上层MBS根据下层上报的功率策略信息更新自己的出价策略。算法是嵌套迭代循环方式进行。