[发明专利]一种基于约束马尔可夫决策过程的高能效资源优化方法

权利要求书

1.一种大规模天线系统中基于约束马尔可夫决策过程的高能效资源优化方法，其特征在于：包括如下步骤：

(1)对无线通信场景建立基于约束马尔可夫决策过程的数学模型；具体包括如下步骤：

(11)设定信道增益的量化段数QS与用户发射功率的量化段数QA，并对信道增益和用户发射功率p_lk进行均匀量化，得到近似信道增益ψ_likκ和近似用户发射功率a_lk，将近似信道增益ψ_likκ称作无线通信场景中第l小区内的第k用户与第i小区内的第κ用户之间的状态，将近似用户发射功率a_lk称作无线通信场景中第l小区内的第k用户的行动；其中：g_llk为第l小区内基站与第l小区内的第k用户之间的信道传输向量，为g_llk的共轭转置形式，g_liκ为第l小区内基站与第i小区内的第κ用户之间的信道传输向量，p_lk为配置给第l小区内的第k用户的发射功率；

信道增益采用阈值组合进行均匀量化，若则近似信道增益ψ_likκ处于第b项，为信道增益量化阈值组合的第b+1项；用户发射功率p_lk采用阈值组合进行均匀量化，若则近似用户发射功率a_lk处于第c项，为用户发射功率量化阈值组合的第c+1项，为用户最大可发射功率；

(12)将近似信道增益ψ_likκ的所有可能取值表述为状态集合s_c，将近似用户发射功率a_lk的所有可能取值表述为动作集合a_c；

(13)计算约束马尔可夫决策过程的状态转移概率矩阵P；

计算约束马尔可夫决策过程的状态转移概率矩阵P，针对每个可能状态，根据下述公式进行状态转移概率计算：

其中：α为信道增益平均值，f为规格化后的最大多普勒频率；然后再构造QS×QS的状态转移概率矩阵P，状态转移概率矩阵P中第b行第b'列的元素记P(b,b′)＝p{b′|b}；

(14)设定回报效用函数与约束效用函数的折扣因子参数λ；

(15)构造回报函数R(s_c,a_c)和约束函数C_lk(s_c,a_c)；其中：C_lk(s_c,a_c)为对第l小区内的第k用户的约束函数；

构造回报函数R(s_c,a_c)和约束函数C_lk(s_c,a_c)，分别为：

其中：p_c为无线通信场景中分摊给每个用户的电路固定功耗，为信道高斯白噪声方差；L为无线通信场景中总的小区数目，K为每个小区中总的用户数目；

(2)初始化拉格朗日算子向量与回报效用函数；

初始化拉格朗日算子向量为ρ₀＝[ρ_lk,0|l＝1,…,L,k＝1,…,K]^T，初始化回报效用函数为其中：ρ_lk,0为针对第l小区内的第k用户的传输速率约束的初始拉格朗日算子；

(3)利用改进值迭代算法处理优化问题，获得最优资源配置策略；

改进值迭代算法具体实施过程为：

(31)对回报效用函数的值进行迭代，具体步骤如下：

①构造Bellman表达式：

其中：ρ_lk为针对第l小区内的第k用户的传输速率约束的拉格朗日算子，p{ s_c′|s_c}为状态转移矩阵的元素P(s_c,s_c′)，为回报效用函数的第i′次迭代时对状态s_c′的值；

②遍历动作集合a_c，获得使Bellman表达式值最大的动作组合将该动作组合称为功率配置策略π^*；

③将功率配置策略π^*带入Bellman表达式，得到Bellman表达式的最大值，将该最大值记为并以此更新回报效用函数

④判断回报效用函数是否收敛：若收敛，则回报效用函数迭代过程结束，继续执行后续步骤；若不收敛，则返回步骤①继续执行；

(32)计算约束效用函数：

其中：n为无线通信场景中的第n个相干周期的开始时刻，为无线通信场景中第n个相干周期的开始时刻的状态集合，为无线通信场景中第n个相干周期的开始时刻的动作集合；

(33)更新拉格朗日算子向量：

其中：j′为拉格朗日算子更新步数，r_min为无线通信场景中对用户设置的最低传输速率约束；

(34)判断拉格朗日算子向量是否收敛：若收敛，则拉格朗日算子向量迭代过程结束，继续执行后续步骤；若不收敛，则返回步骤(31)继续执行；

(35)单独执行一次回报效用函数的值迭代程序。