[发明专利]一种基于多智能体强化学习的动态跳波束与波束带宽分配方法

说明书

本发明公开了一种基于多智能体强化学习的动态跳波束与带宽分配方法，通过每个智能体负责一个卫星波束的照射方向或者波束的带宽大小，各智能体之间协作完成动态跳波束与带宽分配任务。该方法既有效利用了波束资源的时、空、频三个自由度，又相较于单智能体强化学习降低了决策空间的复杂度，在吞吐率以及时延公平性方面性能优异，且具有一定的鲁棒性。

技术领域

本发明属于卫星通信中的资源分配技术领域，涉及一种针对卫星波束在时间、空间和频率三个维度上的资源分配方法，特别涉及一种基于多智能体强化学习的动态跳波束与波束带宽分配方法。

背景技术

由于地面用户地理分布的不均匀性以及时变特性，导致卫星覆盖下的各个小区业务大小差异明显。如何灵活有效地分配卫星资源，并将其与非均匀业务相匹配是卫星通信领域的一大难题。跳波束技术作为卫星通信的一种新兴技术，充分利用了波束的时空自由度，为卫星资源分配提供了极大的灵活性。跳波束技术将卫星覆盖区域划分为多个小区，但在一个时隙下只照射其中部分小区。卫星在不同时隙照射的小区不同，被称为跳波束图案，如何合理的规划跳波束图案以及分配每个波束的带宽是一个具有挑战性的问题。

传统的跳波束算法主要采用启发式算法，这些算法收敛速度较慢，不能很好地适应时变的业务需求，因而很难做到实时的跳波束调度。尽管一些基于凸优化的算法被提出，但是它们忽略了波束之间的同频干扰。一旦考虑同频干扰，问题将变为非凸，导致算法失效。随着机器学习的发展，将机器学习应用到资源分配成为热点，但是现有的机器学习的跳波束算法，一般只在波束时隙维度上进行分配，缺少带宽层面的自由度。而且，现有的机器学习算法基本采用单智能体强化学习方式，随着波束数量的增加，单智能体的决策空间将会呈现指数增长，神经网络的规模将大幅提升。

总之，现有技术存在两方面的问题，一方面，传统的启发式跳波束算法收敛速度较慢，不能很好地适应时变的业务需求，很难做到实时的跳波束调度；另一方面，基于机器学习的跳波束算法，一般只在波束时隙维度上进行分配，缺少带宽层面的自由度。

发明目的

本发明的目的即在于解决现有技术中存在的上述问题，提出一种基于多智能体强化学习的动态跳波束与波束带宽分配方法，既能有效利用波束资源的时、空、频三个自由度，又相较于单智能体强化学习降低了智能体决策空间的复杂度。

发明内容

本发明提供了一种基于多智能体强化学习的动态跳波束与波束带宽分配方法，用于卫星波束在时间、空间和频率三个维度上的资源分配，该方法包括以下步骤：

步骤1、获取卫星通信系统参数，包括波束数量K、地面小区数量N、卫星总发射功率、卫星高度、卫星带宽资源块数以及每个卫星宽带资源块的带宽；

步骤2、构建多智能体强化学习仿真系统模型，并对构建的仿真系统模型进行离线训练；

步骤3、将步骤2中训练好的仿真系统模型部署到运控中心或者星上载荷；

步骤4、所述运控中心或者星上载荷将每个时隙下每个小区的实时业务队列大小输入被部署到其上的所述训练好的仿真系统模型，从而得到该时隙每个波束的照射位置以及所分配的带宽大小。

优选地，步骤2中所述多智能体强化学习仿真系统模型，包括多个强化学习智能体、多个经验池以及卫星跳波束仿真环境。

优选地，步骤2中所述多智能体强化学习仿真系统模型中，一个卫星波束对应两个智能体，分别负责该卫星波束的照射方向和带宽分配，所述两个智能体中的每个智能体分别包含两个神经网络和一个经验池，其中所述两个神经网络是目标网络和Q网络。

优选地，步骤2中所述多智能体强化学习仿真系统模型，其工作流程包括以下子步骤：

步骤S21、初始化2K个神经网络参数以及2K个经验池；初始化每个小区的业务到达率；将环境初始状态设置为第一个时隙每个地面小区的业务大小；将贪婪系数ε设置为1；