[发明专利]一种基于元强化学习的卫星物联网在线资源联合分配方法

权利要求书

1.一种基于元强化学习的卫星物联网在线资源联合分配方法，其特征在于包括如下步骤：

步骤一：基于历史数据为信道质量、终端数据传输所需环境信息构建近似模型，建立LEO卫星处上行链路信道与功率资源联合分配模型；

步骤二：将各LEO卫星处的上行链路资源联合分配问题建模为MDP过程；

步骤三：采用集中式训练的方式，通过元强化学习方法训练在线信道选择与功率分配模型参数；

步骤四：在实际LEO星座运行过程中，每当新部署的LEO卫星发射升空，将步骤三中训练得到的元强化学习参数分发给此LEO卫星；

步骤五：各LEO卫星基于星上实际环境进行模型迁移，微调Q值网络至收敛；

步骤六：各LEO卫星利用迁移到本地真实太空环境的深度强化学习模型参数进行在线信道与功率资源联合分配。

2.根据权利要求1所述的基于元强化学习的卫星物联网在线资源联合分配方法，其特征在于上述步骤一中建立LEO卫星处上行链路信道与功率资源联合分配模型，具体过程如下：

步骤1.1对卫星物联网场景及链路传输能力进行分析，具体如下：

每颗多波束LEO卫星为其波束覆盖范围内的偏远物联网终端设备提供数据传输服务，令K和N分别代表终端u_k和波束b_n个数，终端和波束集合分别用和和表示；

基于LEO星座的卫星物理网资源分配问题中，对于信道分配，数据传输信道集合表示为且每一信道带宽为B；信道分配问题即是从集合中为当前传输请求传感器选择一个合适信道，分配结果表示为w_k＝[w_k,1,w_k,2,…w_k,M]^T,w_k,m∈{0,1}，其中w_k,m＝1表示将信道c_m分配给终端u_k；系统中所有终端的信道分配结果表示为对于功率控制，令P_k表示终端u_k的最大发送功率，将功率量化为N_p个档位，因此功率控制问题即为在各功率档位集合中为终端u_k选择发送功率，其分配方案表示为表示终端u_k选择第n_P个档位的功率作为发送功率，此时发送功率为所有传感器的功率分配结果表示为

终端u_k数据传输信噪比表示为

其中G_k,b表示终端到卫星间链路增益，σ表示噪声功率，b_k为终端u_k所属波束，c_k为终端u_k分配的上行信道；j是终端索引，用来与u_k区分；为保证终端u_k的传输质量，其信噪比应超过最低阈值δ_th，即SINR_k≥δ_th，否则不会为此次传输分配资源，此次终端请求将被拒绝；最后根据香浓公式，传输速率表示为C_k＝Blog₂(1+SINR_k)；

步骤1.2对在线资源分配问题进行建模，具体如下：

在t时刻若有终端u_k需要传输数据，则需运行联合资源分配算法，得到信道与功率分配方案和

令表示终端u_k的数据传输请求是否成功，其决定于信噪比是否满足阈值要求，终端u_k的功率利用率表示为其中为终端u_k的传输速率，为终端u_k的发送功率；则此上行链路联合资源分配问题表示为：

此优化问题中的优化目标和分别表示最大化长期传输成功率和功率利用率；第一项约束表示所有终端的总上行功率之和不超过卫星限制，由于卫星采用转发机制，总转发功率限制了所有终端上行功率之和，其中表示所有终端上行功率之和；第二项约束限制了每一波束内所有终端上行功率之和，其中表示每个波束内所有终端上行功率上限，x_k,n表示了各个终端对波束的归属，若x_k,n＝1则终端u_k属于波束b_n；第三项约束中，表示已在传输中的终端集合，此约束表示任意时刻为新产生终端数据传输请求分配的资源，不应导致已在服务中的终端信噪比低于阈值，其中为终端u_j在t时刻的传输速率；最后两项约束表示对终端仅分配一个信道、一个功率档位。