[发明专利]一种基于迁移深度强化学习的低轨卫星跳波束优化方法

说明书

本发明涉及一种基于迁移深度强化学习的低轨卫星跳波束优化方法，属于卫星移动通信技术领域。该方法包括：S1：建立支持跳波束技术的低轨卫星资源分配优化模型；S2：将数据包的变化场景建模为马尔可夫决策过程，将每一时刻数据包缓存情况重构为状态，执行波束调度策略和功率分配动作，设定所有数据包的平均时延为奖励，采用DQN算法利用神经网络作为非线性近似函数，智能地选择当前状态下的最优决策；S3：采用TL‑DQN算法利用源卫星学习的调度任务快速寻找目标卫星的波束调度策略和功率分配策略。本发明能完善卫星服务过程中的时隙分配，优化数据包的平均时延，并提高系统的吞吐量和资源利用效率。

技术领域

本发明属于卫星移动通信技术领域，涉及一种基于迁移深度强化学习的低轨卫星跳波束优化方法。

背景技术

宽带卫星通信系统在世界性因特网发展中，作为一个关键的构成部分，被广泛普及和应用，逐渐呈现出了良好的发展态势。而多波束天线技术作为宽带卫星通信系统的必选技术之一，已经在众多的实际卫星通信系统中得到广泛的应用。LEO通信系统是近年来应用多波束天线技术的热门卫星系统之一，也是未来空天地一体化网络的重要组成部分。传统的低轨卫星多波束技术平等的分配带宽资源和功率资源，该技术资源损耗大、星上功率利用率低，且对于用户非均匀分布的场景存在资源巨大浪费等缺陷。跳波束技术是卫星通信领域最新的研究成果之一，该技术通过控制星载多波束天线的空间指向、带宽、频点和发射功率，为用户终端动态配置通信资源，提高卫星资源在带宽和功率方面的使用效率，为时域带宽分配提供了便利的平台。

尽管有不少文献在基于跳波束的资源分配上取得了较好的成果，但仍然需要进一步的改进，主要存在几个方面的问题。首先，大多数对跳波束的研究集中在高轨卫星，缺乏对低轨卫星上应用跳波束技术的可靠研究，且大多数工作没有考虑卫星覆盖区域下业务动态变化大、卫星相对地面的运动使信道条件不断变化等因素，因此没有建立完善的卫星跳波束设计场景。由于在低轨卫星环境下通信资源和通信需求剧烈变化，传统的跳波束资源分配算法复杂度高、计算量大，无法直接使用于低轨卫星上。另外，大多数基于跳波束的资源分配只关注系统的吞吐量，而低轨卫星服务时间短暂，对业务的时延敏感，因此优化问题应侧重考虑减小业务时延性能，使优化目标与系统特性相匹配。

发明内容

有鉴于此，本发明的目的在于提供一种基于迁移深度强化学习的低轨卫星跳波束优化方法，考虑低轨卫星环境下通信资源和通信需求剧烈变化等因素，实现低轨卫星和跳波束的有效结合，完善卫星服务过程中的时隙分配，优化数据包的平均时延，并提高系统的吞吐量和资源利用效率。

为达到上述目的，本发明提供如下技术方案：

一种基于迁移深度强化学习的低轨卫星跳波束优化方法，具体包括以下步骤：

S1：在多波束低轨卫星收集服务区域用户需求之后，联合星上服务小区缓冲信息、决策时刻的业务到达情况和当前位置下用户的信道状态，以最小化卫星上数据包平均排队和传输时延为目标，建立支持跳波束技术的低轨卫星资源分配优化模型；

S2：根据步骤S1建立的模型，将数据包的变化场景建模为马尔可夫决策过程，将每一时刻数据包缓存情况重构为状态，执行波束调度策略和功率分配动作，设定所有数据包的平均时延为奖励，并采用DQN算法利用神经网络作为非线性近似函数，智能地选择当前状态下的最优决策。

该步骤针对传统跳波束图案设计方法无法匹配低轨卫星网络动态多变性，考虑动态随机变化的通信资源和通信需求，采用DQN算法利用神经网络作为非线性近似函数，解决了低轨卫星上波束组合的维度灾难问题。

S3：为了实现并加速DQN算法在其他目标任务中的收敛过程，引入了TL算法，采用TL-DQN算法利用源卫星学习的调度任务快速寻找目标卫星的波束调度策略和功率分配策略。

进一步，步骤S1中，建立支持跳波束技术的低轨卫星资源分配优化模型，具体包括以下步骤：