[发明专利]基于深度强化学习的跳波束资源分配方法、系统、存储介质及设备

权利要求书

1.基于深度强化学习的跳波束资源分配方法，其特征在于，包括以下步骤：

基于跳波束卫星通信系统模型，将地面业务请求分为实时数据业务和非实时数据业务两类，并分别建立如下优化函数：

其中，P₁对应于实时业务，是此种情况下t_j时刻小区c_n的卫星缓冲区中数据包数量，是此种情况下t_j时刻小区c_n的时隙长度；P₂对应于非实时数据业务，是此种情况下t_j时刻小区c_n的卫星缓冲区中数据包数量，是此种情况下t_j时刻小区c_n的到达率，是t_j时刻卫星跳波束于小区c_n的覆盖情况；T＝[t,t+T_th]是星上缓存器中可以存储数据包的时长范围，缓冲区内时延超过T_th的数据包将被丢弃，P_b是卫星波束最大功率，是波束发射功率，P_tot是卫星总功率；

将卫星缓存器中数据最大有效时间长度为T_th划分为等长的M段，对应M个跳波束时隙，在t时刻前m个时隙到达小区n的数据包时延l_n为该时隙所在区间；在t时刻前m个时隙到达小区n的实时数据包个数在t时刻前m个时隙到达小区n的非实时数据包个数

将数据包时延、实时数据包个数、非实时数据包构成的地面小区业务量请求作为环境状态S，将卫星波束作为智能体Agent，将照亮小区作为动作，将卫星跳波束技术中的资源分配的最优化问题视为马尔科夫决策过程，基于深度Q网络进行跳波束资源分配。

2.根据权利要求1所述的基于深度强化学习的跳波束资源分配方法，其特征在于，所述跳波束卫星通信系统模型如下：

跳波束卫星通信系统的跳波束卫星通信场景：卫星提供K个波束共覆盖N个小区C＝{c_n|n＝1,2,…,N}，c_n即cell，卫星具有跳波束功能；各小区业务量请求以数据包的形式表示，每个数据包大小均为Mbit，服从到达率为的泊松分布，其中是t_j时刻小区c_n的到达率；星上存在缓冲区，缓冲区中的数据包为其中表示t_j时刻小区c_n缓冲的数据包数量；

对跳波束卫星通信系统每个时隙的波束调度过程进行建模：t_j时刻卫星缓冲区中数据包数量其中是前一时刻缓冲区暂存数据包数量，是t_j-1时刻卫星跳波束覆盖情况，是t_j-1时刻新的数据包对应的服从到达率。

3.根据权利要求1或2所述的基于深度强化学习的跳波束资源分配方法，其特征在于，所述的环境状态S中的t_j时刻状态矩阵其中和分别为t_j时刻的Wt和Dt，Dt＝[D_1,t，D_2,t]；

4.根据权利要求3所述的基于深度强化学习的跳波束资源分配方法，其特征在于，深度Q网进行跳波束资源分配的动作集合为其中a_n＝1表示小区n有波束照亮，a_n＝0表示小区n无波束照亮。

5.根据权利要求4所述的基于深度强化学习的跳波束资源分配方法，其特征在于，深度Q网络中的Q网络是采用卷积神经网络和深度神经网络结合的方式构建的，首先利用卷积神经网络对状态矩阵进行特征提取，再通过深度神经网络实现从状态空间到动作空间的非线性映射。