[发明专利]一种基于深度强化学习的无人机异构网络能效优化方法

权利要求书

1.一种基于深度强化学习的无人机异构网络能效优化方法，其特征在于，具体步骤如下：

步骤1：采集小区基站种类I、基站数量N、用户数量M和基站频段数据，根据小区基站种类I、基站数量N、用户数量M和基站频段建立小区异构网络模型；

步骤2：根据自由空间路径损耗，建立UHF信道模型；

步骤3：根据自由空间路径损耗，建立mmWave信道模型；

步骤4：结合步骤2和步骤3中的UHF信道模型以及mmWave信道模型，对通信系统能量效率进行优化；

步骤5：将异构网络能效优化问题映射到深度强化学习算法中，对异构网络能效进行优化。

2.根据权利要求1所述的一种基于深度强化学习的无人机异构网络能效优化方法，其特征在于，步骤1中所述建立小区异构网络模型为：

所述小区基站种类I包含一个宏基站MBS、D个无人机基站UBS和A个微基站SBS；则基站数量N＝1+A+D；宏基站用n_M表示，第i个微基站用表示，第i个无人机基站用表示；

所有基站都采用特高频无线电波Ultra High Frequency即UHF和毫米波频段，宏基站和部分微基站共享B^UHF个UHF子载波，其中B^UHF代表使用频段为UHF的子载波的数量；所有的无人机即UAV和其它微基站共享B^mmWave个mmWave频段资源，其中B^mmWave代表使用频段为mmWave的子载波的数量；将上述所有基站分为四层的异构网络，建立基站集k∈{MBS,UBS,SBS_UHF,SBS_mmWave}，其中，SBS_UHF为子载波频段为UHF的微基站，SBS_mmWave为子载波频段为mmWave的微基站；根据所属的子载波频段将基站集中的数据分为两类基站集以UHF为子载波频段构成的基站集为Θ_UHF；以mmWave为子载波频段构成的基站集为Θ_mmWave；

所述用户数量M中，每个用户获得最小速率R_min，每个用户只由一个基站提供服务，并将其它基站看作干扰。