[发明专利]一种基于多智能体强化学习的车联网频谱共享方法

权利要求书

1.一种基于多智能体强化学习的车联网频谱共享方法，其特征在于：

步骤1、建立车联网系统模型，确定整个仿真过程中所需参数及性能指标；

步骤2、基于马尔科夫决策过程建立强化学习中智能体与环境交互的空间模型，确定一固定段时间T作为一个周期，获取智能体在环境中做出的行为以及获取的奖励；

步骤3、在车联网系统模型中引入强化学习的基础交互模型，设计基于多智能体强化学习SAC思想的频谱共享方法。

2.根据权利要求1所述的方法，其特征在于，步骤1中所述车联网系统模型建立的具体过程为：

步骤1-1、以十字路口对应的各路段作为研究背景建立模型，区域内设立有可用来收集并广播信息的基础设施，存在一定数目的运动车辆，形成了I个V2I通信链路和K个V2V通信链路；

步骤1-2、用β_k[i]表示频谱分配方案的选择，如果β_k[i]＝1就表示V2V链路k和V2I链路i此时共享了一个频谱子带。此时，共享第i子带的V2V链路k的信道功率增益表示为：

G_k[i]＝δ_k·h_k[i]

δ_k表示信道中与频率无关的大尺度衰落效应——阴影效应和路径损耗，h_k[i]则表示信道中与频率相关的小尺度衰落功率分量；

步骤1-3、将共享第i子频带的V2I链路i和V2V链路k其对应的接收信噪比表示为：

和

其中干扰功率I_k表示为：

P_i^c和表示第i个V2I发射机和第k个V2V发射机在第i子带的发射功率，表示所有V2I发射机的干扰信道增益，g_k表示从发射机到所有基站的干扰信道B[i]增益，g_k'表示来自其他V2V发射机的干扰信道k[i]增益；

步骤1-4、根据香农公式，共享第i个频带的V2I链路i和V2V链路k在第i个频带上信道容量和分别表示为：

和

W是对应的频谱子带的带宽。

步骤1-5、设置了在限定时间T内，大小为B的数据包在V2V链路上的成功交付率为：

B表示V2V链路需要交付的载荷的大小，ΔT是设定的交付时间，V2V链路k在第i个频带上的信道容量和公式里增加了参数t来表示不同时间下V2V链路的容量变化情况。