[发明专利]一种基于强化学习的卫星网络资源编排方法及系统

权利要求书

1.一种基于强化学习的卫星网络资源编排方法，由系统实施，所述系统包括至少一个GEO卫星和多个LEO卫星；所述GEO卫星部署多个业务评价模块；所述LEO卫星部署多个分布式策略模块和资源模块；其特征在于，所述方法包括：

多个LEO卫星中的每个LEO卫星收集系统中该LEO卫星的资源状态，形成资源状态集；

多个LEO卫星中的每个LEO卫星基于所述资源状态集中的资源情况，根据本地资源编排策略在资源编排动作集中选择资源编排动作，将所述资源状态上报给所述GEO卫星；所述资源编排动作集在分布式策略模块中制定，所述资源编排动作集为LEO卫星节点上承载的某一类业务分配资源的所有动作组成；

所述GEO卫星的业务评价模块对所述资源编排策略设置奖励函数；

根据所述奖励函数和所述资源状态，用于针对业务种类，在所述业务评价模块中计算选择当前资源编排动作的编排策略的评价结果；

多个LEO卫星中的每个LEO卫星根据业务评价模块给出的评价结果，调整优化所述资源编排策略。

2.根据权利要求1所述的方法，其特征在于，所述资源模块包括算力资源模块和网络资源模块。

3.根据权利要求1所述的方法，其特征在于，所述收集系统中LEO卫星的资源状态的方式包括：分布式策略模块以报文发送的方式请求资源模块上报资源状态信息。

4.根据权利要求1所述的方法，其特征在于，所述收集系统中LEO卫星的资源状态的方式还包括：资源模块以周期推送的方式主动上报资源状态信息到分布式策略模块。

5.根据权利要求1所述的方法，其特征在于，对于LEO卫星节点q，其资源状态由业务种类i，在t时刻在本节点上使用的资源以及t时刻在节点q上可用资源res_q(t)组成；

所述包括业务种类i在t时刻在本节点使用的算力资源以及网络资源；

所述res_q(t)包括t时刻在节点q上可用的算力资源以及网络资源；

LEO卫星节点q上状态集合

6.根据权利要求5所述的方法，还包括，每个LEO卫星节点上的状态集合组成全局的状态集合，即：

1≤q≤Q，Q是系统中LEO卫星节点个数。

7.根据权利要求1所述的方法，其特征在于，对于LEO卫星节点q，编排动作由针对业务种类i，在本节点上分配的算力资源量以及在本节点上分配的网络资源量组成；

对于业务种类i，节点q上的动作集合

8.根据权利要求7所述的方法，还包括，每个LEO卫星节点上的动作集合组成全局的动作集合，即：

1≤q≤Q，Q是系统中LEO卫星节点个数。

9.根据权利要求1所述的方法，其特征在于，所述计算选择当前资源编排动作的编排策略的评价结果，需要考虑业务种类i在卫星网络中的传输时延丢包率带宽资源满足率以及算力资源满足率参数；

所述参数中有正向参数，也有负向参数，而且量纲不一，需要归一化之后再构建奖励函数；对于业务种类i，奖励函数为：

为归一化之后的参数，a、b、c、d为各自的权重。

10.一种基于强化学习的卫星网络资源编排系统，包括至少一个GEO卫星和多个LEO卫星；所述GEO卫星部署多个业务评价模块；所述LEO卫星部署多个分布式策略模块和资源模块，所述系统执行如权利要求1-9任一项所述的方法。