[发明专利]一种智能超表面辅助OFDM系统1比特相移配置方法

权利要求书

1.一种智能超表面辅助OFDM系统1比特相移配置方法，其特征在于，该方法包括以下步骤：

步骤S1、基站配置单根天线，且服务K个单天线用户，所述智能超表面为均匀平面阵，该均匀平面阵包括M＝A×B个反射单元，其中，垂直方向A行反射单元，水平方向每行B个反射单元；智能超表面的反射系数向量表示为其中为的第b个元素，其相位θ_b表示智能超表面第b列的相移，b＝1,...,B；将所有可能的智能超表面反射系数向量存放到码本中，即中的每一个码字对应一种可能的反射系数向量因此码本中共有2^B个码字；系统整体带宽被划分为N个子载波，表示为集合第k个用户占用子载波的集合表示为S_k满足并且

构建智能体X的经验池及深度强化学习神经网络，包括：评价Q网络U，根据来自环境的状态评价每个动作的收益；目标Q网络其参数复制自评价Q网络U，每个时隙软更新一次；经验池D用于存储智能体X学习过程中产生的样本；将智能超表面视为智能体X；将整个通信环境作为智能体X的外部环境；将码本作为动作空间，其中的每个码字为可选的动作；初始化评价Q网络U的参数目标Q网络的参数最大步长T和候选码字的个数L，令t＝1；

步骤S2、在t时刻，计算基站经智能超表面至第k个用户在第n个子载波上的频域信道矩阵其中k＝1,2,...,K，n∈S_k，为DFT矩阵F_N的第n列，上标(·)^H表示共轭转置，表示零填充的基站经智能超表面至第k个用户时域信道矩阵，的第b列为零填充的基站经智能超表面第b列反射单元至第k个用户的时域信道向量，L₃＝L₁+L₂-1为中非零元素个数，*表示卷积，表示长度为N-L₃的全0向量，上标(·)^T表示转置，为基站到智能超表面第b列反射单元的具有L₁个抽头的时域信道向量，的第i个元素为基站到智能超表面第b列反射单元的时域信道第i个抽头系数，i＝0,1,...,L₁-1，为智能超表面第b列反射单元到第k个用户的具有L₂个抽头的时域信道向量，的的第个元素为智能超表面第b列反射单元到第k个用户的时域信道第个抽头系数，计算基站至第k个用户的直射路径在第n个子载波上的频域信道系数其中k＝1,2,...,K，n∈S_k，为基站到第k个用户具有L₀个抽头的直接路径经零填充后的时域信道向量，其第m个元素为基站到第k个用户的直接路径时域信道第m个抽头系数，m＝0,…,L₀-1，表示长度为N-L₀的全0向量；令t时刻所述智能体X的环境状态表达式为：

步骤S3、若t＝1，则进入步骤S4；否则，进入步骤S5；

步骤S4、根据ε-贪婪策略，获取(0,1)之间的随机数x，如果x小于某一预设门限值ε，智能体X就从码本中随机选择一个码字作为动作a_t，否则，将状态s_t输入智能体X的评价Q网络U，输出为码本中每个动作码字的Q值，从中选择Q值最大的动作将动作a_t作为当前t时刻的智能超表面反射系数向量并利用下式计算系统频谱效率作为t时刻的奖励r_t：

其中，N_CP≥max(L₀,L₃)为OFDM调制的循环前缀长度；p_n表示基站平均分配给每个子载波的功率，p_n＝P_t/N,n＝0,1,...,N-1，P_t为基站的总发送功率；Γ是实际编码调制方式对系统容量的影响因子，σ²为噪声功率；令t＝t+1，并进入步骤S2；

步骤S5、将得到的四元组(s_t-1,a_t-1,r_t-1,s_t)作为一个经验样本存入经验池中，若经验池已存满，则用该经验样本覆盖经验池中最早的一个经验样本；

步骤S6、智能体X从经验池中以批尺寸N_B进行随机采样来计算评价Q网络的目标值；然后对评价Q网络进行梯度下降更新，并对目标Q网络进行软更新，如果t-1T，则停止迭代，否则转到步骤S4；

步骤S7、训练完成后，智能体从环境中获得当前时刻t的信道并根据步骤S2中的方法将其转化为状态s_t，将状态s_t输入智能体X的评价Q网络U，从其输出中选出Q值最大的L个动作作为候选动作{a⁽¹⁾,a⁽²⁾,...,a^(L)}，最后计算出这L个候选动作的系统频谱效率。