[发明专利]一种可重构智能表面增强的SISO-OFDM下行传输方法

权利要求书

1.一种可重构智能表面增强的SISO-OFDM下行传输方法，其特征在于，包括以下步骤：

步骤S1、基站配置单根天线，且服务K个单天线用户，所述可重构智能表面配置均匀平面反射阵，该均匀平面反射阵包括M＝a×b个反射单元，其中，垂直方向a行反射单元，水平方向每行b个反射单元；系统整体带宽被划分为N个子载波，各用户使用不同的子载波，S_k，k＝1,2,…,K，为用户k的子载波索引并满足基站和可重构智能表面已知用户的信道状态信息；

所述信道状态信息包括：基站到用户k，k＝1,2,…,K，的具有L₀个抽头的直接路径时域基带等效多径信道向量

基站到可重构智能表面第m个反射元件的具有L₁个抽头的时域等效多径信道向量

可重构智能表面第m个反射元件到用户k的具有L₂个抽头的时域等效多径信道向量其中，(·)^T表示转置；

步骤S2、构建智能体X的经验池及深度强化学习神经网络，包括：动作输出现实网络A、动作输出目标网络状态动作评价现实网络C和状态动作评价目标网络所述动作输出现实网络A和动作输出目标网络构成智能体X的动作网络；所述状态动作评价现实网络C和状态动作评价目标网络构成智能体X的评价网络；经验池D用于存储智能体X学习过程中产生的样本；将可重构智能表面视为智能体X；将整个SISO-OFDM通信环境作为智能体X的外部环境；

所述智能体X在t时刻的环境状态的表达式为：

公式中，为智能体X在t-1时刻输出的可重构智能表面各个反射元件的相移参数，C^(t-1)是t-1时刻的系统频谱效率，E^(t-1)是t-1时刻的反射路径能量，环境输出奖励值r^(t)评价动作输出现实网络A在当前状态s^(t)下输出的动作；

所述动作输出现实网络A，其网络参数为动作输出现实网络函数用π^A(·)表示，根据当前t时刻的环境状态选择最优动作将A^(t)与服从标准正态分布的探索噪声相加得到智能体X的动作：

将向量a^(t)的M个元素作为当前t时刻可重构智能表面反射元件的相移参数；

所述动作输出目标网络其网络结构与动作输出现实网络A一致，网络参数每隔N_T个时刻基于动作输出现实网络A的网络参数软更新一次；

所述状态动作评价现实网络C，其网络参数为Q^C(·)表示状态动作评价现实网络函数，计算当前t时刻的状态动作对的价值函数

所述状态动作评价目标网络其网络结构与状态动作评价现实网络C一致，网络参数每隔N_T个时刻基于状态动作评价现实网络C的网络参数软更新一次；

容量为N_D的经验池D用于存放学习过程中每个时刻产生的经验四元组{s^(t),a^(t),r^(t),s^(t+1)}；

步骤S3、随机初始化动作输出现实网络A的网络参数及状态动作评价现实网络C的网络参数并令动作输出目标网络和状态动作评价目标网络的网络参数分别满足和初始化单次随机采样数量N_B；可重构智能表面在t＝0时刻的相位矩阵中的各个相位从[-π,π]中随机选取；计算t＝0时刻可重构智能表面的相移偏置矩阵根据信道状态信息和可重构智能表面的相移偏置矩阵，利用下式计算t＝0时刻用户k，k＝1,2,…,K，在其所使用的子载波n上的信噪比：

公式中，为补零后的基站至用户k直接路径时域基带等效多径信道向量，为补零后的基站经可重构智能表面反射至用户k的时域基带等效多径信道矩阵，为补零后的基站经可重构智能表面第m个反射元件至用户k的时域基带等效多径信道向量且L₃＝L₁+L₂-1为其非零元素个数，f_n表示N×N维DFT矩阵F_N的第n列，Γ是实际编码调制方案对系统容量的影响因子，σ²为噪声功率，(·)^H表示共轭转置，|·|表示取绝对值；t＝0时刻子载波n上的发射功率用下式计算：

公式中，(x)⁺＝max(0,x)，注水参数满足P_t为基站总发射功率；用下式计算用户k在t＝0时刻的频谱效率：

公式中，N_CP为循环前缀以避免OFDM符号间干扰；

利用下式计算t＝0时刻的系统频谱效率：

利用下式计算t＝0时刻的反射路径能量：

令t＝t+1且

步骤S4、将t时刻的状态s^(t)作为动作输出网络的输入，该网络输出t时刻的动作将A^(t)与服从标准正态分布的探索噪声相加得到智能体X的动作：

基于动作a^(t)计算可重构智能表面的相位偏置矩阵：

利用下式计算t时刻用户k，k＝1,2,…,K，在子载波n上的信噪比：

用下式计算t时刻子载波n上的发射功率：

其中，λ满足P_t为基站总发射功率；利用下式计算系统频谱效率C^(t)并作为t时刻的奖励r^(t)：

利用下式计算t时刻的反射路径能量E^(t)：

则t+1时刻的状态将得到的四元组{s^(t),a^(t),r^(t),s^(t+1)}作为一个经验样本存入经验池中，若经验池已存满后，则用该经验样本覆盖经验池中最早的一个经验样本；

步骤S5、智能体X将状态动作对(s^(t),a^(t))输入状态动作评价现实网络C中，输出状态动作对(s^(t),a^(t))的评价值随后从经验池随机采样N_B个样本；

所述随机采样具体包括如下步骤：

若t≥N_B，则从经验池D中随机选择N_B个样本其中每个样本均为学习过程中存入经验池中的四元组，进入步骤S6；

若t＜N_B，则不采样并令t＝t+1，转到步骤S4；

步骤S6、利用采样结果对动作输出网络和评价网络进行梯度下降更新，并对动作输出目标网络和状态动作评价目标网络进行软更新，直到则停止迭代转到步骤S7，否则令t＝t+1并转到步骤S4；

步骤S7、将当前时刻t所得的可重构智能表面的相位偏置矩阵及各子载波n上分配的发射功率作为当前信道状态信息下的可重构智能表面的最佳相移偏置矩阵和相应的最佳基站功率分配方案。