[发明专利]一种基于迁移深度强化学习的低轨卫星跳波束优化方法

权利要求书

1.一种基于迁移深度强化学习的低轨卫星跳波束优化方法，其特征在于，该方法具体包括以下步骤：

S1：在多波束低轨卫星收集服务区域用户需求之后，联合星上服务小区缓冲信息、决策时刻的业务到达情况和当前位置下用户的信道状态，以最小化卫星上数据包平均排队和传输时延为目标，建立支持跳波束技术的低轨卫星资源分配优化模型；

S2：根据步骤S1建立的模型，将数据包的变化场景建模为马尔可夫决策过程，将每一时刻数据包缓存情况重构为状态，执行波束调度策略和功率分配动作，设定所有数据包的平均时延为奖励，并采用DQN算法利用神经网络作为非线性近似函数，智能地选择当前状态下的最优决策；

S3：采用TL-DQN算法利用源卫星学习的调度任务快速寻找目标卫星的波束调度策略和功率分配策略；

步骤S1中，建立支持跳波束技术的低轨卫星资源分配优化模型，具体包括以下步骤：

S11：对于被分配到波束的小区c_n，即在时刻t_j的信干燥比表示为：

其中，C＝{c₁,...,c_n,...,c_N}表示待服务的小区集合，表示服务不同小区的波束功率分配，为小区获得的波束调度决策；表示在时刻t_j服务小区c_i的波束到小区c_n的功率增益；和分别表示在时刻t_j服务小区c_n和c_i的波束发射功率；N₀表示噪声功率谱密度；W表示波束使用的全带宽；表示小区c_n在时刻t_j获得波束调度，反之则没有；

S12：计算小区c_n的信道容量表达式为：

其中，表示小区c_n在时刻t_j的信干噪比；f_DVB-S2(·)是基于卫星第二代数字视频广播规范的映射函数；

S13：计算各个时刻数据包集合的递归形式，表达式为：

其中，函数g(·)是具有先到先服务原则的数据包调度过程；X(t_j-1)表示上一时刻的波束调度决策，H(t_j-1)表示上一时刻的信道条件，Λ(t_j-1)表示上一时刻的数据包到达情况；是当前时刻t_j的星上缓冲区数据包集合；

S14：计算小区c_n在t_j-1到t_j时间段内的数据包吞吐量表达式为：

S15：计算数据包平均排队和传输时延τ，表达式为：

其中，τ_q表示数据包排队时延，τ_t表示数据包传输时延，表示数据包到达时刻，t_j表示决策时刻，M表示数据包的大小；系统的总吞吐量根据所有时刻缓冲区数据包的数量和数据包到达率确定，小区c_n在总的时间段内的数据包吞吐量表示为：

S16：建立支持跳波束技术的低轨卫星资源分配优化模型为：

其中，集合T＝{t₁,t₂,···}表示在一段时间内的决策时刻集合，P_tot表示卫星的总载波功率，表示小区的最小吞吐量要求，表示小区c_n的总吞吐量，K表示卫星的有源波束数，p_i表示星上拟发送给小区c_n的缓冲区中的数据包。