[发明专利]基于深度强化学习的跳波束资源分配方法、系统、存储介质及设备

说明书

基于深度强化学习的跳波束资源分配方法、系统、存储介质及设备，属于通信技术领域。为了解决现有的跳波束卫星通信系统在资源分配时存在针对服务场景不断变化时缺乏连续性导致不同业务量的时延性能较差的问题，本发明将地面业务请求分为实时数据业务和非实时数据业务两类，并分别建立优化函数；将卫星缓存器中数据最大有效时间长度为T_th划分为等长的M段，对应M个跳波束时隙；将数据包时延、实时数据包个数、非实时数据包构成的地面小区业务量请求作为环境状态S，将卫星波束作为智能体，将照亮小区作为动作，将卫星跳波束技术中的资源分配的最优化问题视为马尔科夫决策过程，基于深度Q网络进行跳波束资源分配。主要用于跳波束资源的分配。

技术领域

本发明涉及一种跳波束资源的分配方法，属于通信技术领域。

背景技术

卫星通信具有覆盖区域广、通信容量大、传输质量好、组网迅速且不受地理气候环境影响等特点。尽管陆地移动通信系统及网络规模发展迅速，但在面积广阔而人口稀少的地区和自然环境恶劣的地域，仍然要凭借卫星通信特有的技术特点提供通信服务，同陆地移动通信网相互协作，构成天地互联网络实现全球无缝覆盖。而卫星通信系统是典型的资源受限系统，星上有效载荷以及频谱资源有限是限制发展的关键因素，因此如何在有限的资源下进行合理高效的星上资源分配是卫星通信系统中的关键问题。为了满足宽带高速业务以及卫星物联网的需求，多波束系统被提出，在多波束系统中，将整个卫星地理覆盖区域划分为类似于地面蜂窝系统的若干小区，卫星利用多个窄波束以小区为单位进行覆盖。

在近些年被提出的“跳波束”技术在波束工作模式中应用时分复用的思想，将系统的时间资源分成很多段时隙，每个时隙只有一部分波束按需工作，在下一时隙依据流量动态请求来调度波束，使系统波束“跳”到其他小区，即波束按时隙调度。在多波束卫星通信系统中，波束间存在的同频干扰是限制通信速率以及系统容量的重要因素之一，跳波束技术利用其可以在空间维度隔离的优势，通过调整空间位置分布可以解决同频干扰的问题，因此可以利用跳波束技术进行星上资源的分配。

为解决低轨多波束卫星系统中服务场景不断变化，以及多元化、复杂化的发展趋势，需要引入智能化在线资源管理技术。在多波束系统中，系统的信道容量、星上缓存分布、星上资源、和当前资源分分配方式对下一状态资源分配策略的影响，需要综合考虑上述需求，进行相关性建模。而深度强化学习算法在序贯决策问题中有良好的应有基础，将深度强化学习用于低轨卫星系统资源管理也具有如下的优势：卫星高速移动带来的地面场景变化可为深度强化学习提供大量可训练数据；卫星服务场景中的资源调度可以归类为复杂系统中的决策问题，通过马尔科夫决策模型来解决Agent与环境交互过程中产生决策的问题；深度强化学习可以训练不能直接优化的目标，对于不同服务场景，智能体无需重新构建模型，可以在变化的环境中不断学习和优化。正是由于这些原因，将深度强化学习中的深度Q网络算法应用到具有跳波束功能的卫星系统资源分配问题中具有不言而喻的好处与优势。

发明内容

本发明为了解决现有的跳波束卫星通信系统在资源分配时存在针对服务场景不断变化时缺乏连续性导致不同业务量的时延性能较差的问题，基于强化学习进行了跳波束资源分配方法的研究。

基于深度强化学习的跳波束资源分配方法，包括以下步骤：

基于跳波束卫星通信系统模型，将地面业务请求分为实时数据业务和非实时数据业务两类，并分别建立如下优化函数：