[发明专利]一种基于强化学习的卫星网络资源编排方法及系统

说明书

本申请提供一种基于强化学习的卫星网络资源编排方法及系统，用以解决现有技术中卫星网络资源分配组网结构不合理的技术问题。该方法包括：收集系统中LEO卫星上的资源状态，形成资源状态集；LEO卫星制定星上资源编排动作集；LEO卫星中的分布式决策模块在当前的状态下，基于本地资源编排策略，选择资源编排动作，将资源状态上报给GEO卫星；GEO卫星的业务评价模块设置资源编排策略的奖励函数；根据业务评价模块给出的评价结果，LEO卫星调整优化资源编排策略。本申请提供一种基于强化学习的卫星网络资源编排方法及系统，可以实现多星协同处理策略的自学习和自演进，有效提高卫星通信资源的利用率，满足新业务的发展要求。

技术领域

本申请涉及卫星网络通信领域，尤其涉及一种基于强化学习的卫星网络资源编排的方法及系统。

背景技术

随着地面移动通信技术逐步进入5G/6G时代，天地信息网络深度融合的应用场景将变得十分广阔，卫星网络在将来会服务于宽带互联网、物联网、低时延、高可靠数据传输等业务，与传统卫星业务相比，这些具有差异化以及动态变化的新型业务会给卫星网络资源的分配带来极大的挑战。

同时，基于星间链路技术的大规模星座组网已成为研究热点，卫星通信系统正从“单星”向“天网”发展，业务数据转发模式不限于“弯管式”转发，可以在卫星网络中多跳转发至目的地。目前对星载异构资源虚拟化技术的研究，可实现卫星节点之间算力资源共享利用，支持卫星网络云化服务能力，卫星网络也将开始使用地面网络的网状网架构，如何在天上实现对卫星网络资源的合理分配以满足多星协同的需求也得到业界的广泛关注。

现有的资源编排技术主要基于集中式和分布式两种架构，如果采用集中式的架构，可以把星上资源编排策略模块和业务评价模块都部署于一个卫星节点上，但这样会导致该卫星节点的处理压力过大，不能够满足新型业务大量发展的要求。如果采用分布式的架构，可将星上资源编排策略模块和业务评价模块部署在卫星网络系统中的每个卫星节点上，这时为保证各卫星节点的业务评价标准的一致性，需要将系统中的每个卫星节点之间建立全连接。而组成卫星网络的大多数低轨卫星处于不断移动状态，会导致系统组网的不稳定，并且卫星间链路带宽资源往往有限，这样会造成极大地通信资源浪费。

因此，迫切需要提出一种合理的资源编排架构和编排方法来实现对星上资源的有效分配，以满足对动态化新业务、以及星上网络云化服务新能力的要求。

发明内容

本申请实施例提供了一种基于强化学习的卫星网络资源编排方法及系统，采用集中式评价与分布式决策相结合的资源编排机制，将强化学习方法与多层卫星网络拓扑结构相结合，用以解决现有技术中集中式架构导致的卫星节点压力过大、分布式架构导致的卫星组网不稳定以及通信资源极大浪费地问题。

第一方面，本申请提供一种基于强化学习的卫星网络资源编排方法，由系统实施，该系统包括至少一个GEO卫星和多个LEO卫星，GEO卫星部署多个业务评价模块，LEO卫星部署多个分布式策略模块和资源模块，该方法包括：

步骤1，多个LEO卫星中的每个LEO卫星收集系统中该LEO卫星的资源状态，包括星上算力资源状态以及星间网络资源状态，形成资源状态集。

收集系统中LEO卫星的星上算力资源状态以及星间网络资源状态包括两种方式：分布式决策模块以报文发送的方式请求资源模块上报资源状态信息；资源模块以周期推送的方式主动上报资源状态信息到分布式决策模块。

对于LEO卫星节点q，其资源状态由业务种类i，在t时刻在本节点上使用的资源以及t时刻在节点q上可用资源res_q(t)组成。这里包括业务种类i在t时刻在本节点使用的算力资源以及网络资源；res_q(t)包括t时刻在节点q上可用的算力资源以及网络资源。即节点状态集合每个LEO卫星节点上的状态集合可以组成全局的状态集合，即：

1≤q≤Q，Q是系统中LEO卫星节点个数。