[发明专利]一种面向用户隐私保护的高能效V2X资源分配方法

权利要求书

1.一种面向用户隐私保护的高能效V2X资源分配方法，具体包括以下步骤：

步骤1：在满足C-V2X保密率的前提下，以提高车联网网络的频谱效率和能量效率为目的，定义状态空间为信道状态信息；动作空间为智能体选择的子信道和V2V传输功率；

步骤2：在考虑保密率及其门限值大小的情况下，定义V2X链路的综合效率为奖励函数；

步骤3：智能体v从环境中观察状态s_t，作为目标Q网络的输入，基于ε贪心策略执行动作a_t，并将训练数据存入记忆回放池；

步骤4：从记忆回放池选取一小批样本，通过最小化Q网络和学习目标间的平方和误差训练Q网络，使用随机梯度下降法计算更新后的网络参数，若训练回合数达到最大训练回合数E，则进入步骤5，否则跳转至步骤3开始新一回合训练；

步骤5：根据训练完成的DQN网络，得到最优的V2V和V2I链路的频谱和传输功率分配方案；

进一步，所述步骤2包括如下具体步骤：

步骤2-1：第m条V2X链路的传输速率可表示为

其中，P_V2X为V2X链路的传输功率，h_m，h_m，j为第m条V2X链路对应信道的信道增益和第j条V2X链路对第m条V2X链路的干扰增益，a_mn表示子信道多路复用分配因子，I_m表示对第m个V2X链路的干扰，σ²为噪声功率；

步骤2-2：类似地，对于窃听者来说，在V2X链路上的窃听速率可表示为

其中，h_m，e和h_j，e为窃听其他V2X链路的信道功率增益和第j条V2X链路的干扰功率增益，I_eve为对窃听者的干扰；

步骤2-3：定义V2X链路的频谱效率为占用的频谱带宽与总功耗之比，即

其中，B_n为每个V2X链路占用的频谱带宽，P_C为电路功率；

步骤2-4：奖励函数定义为V2X链路的频谱效率，表示为

其中，ζ_V2X为V2X链路的频谱效率，引入负奖励是为了使DQN选择更好的策略，该奖励函数由每个智能体共享，在每个智能体与环境的交互过程中，不断更新相应的动作，以获得最大的累计奖励；R_T为V2V保密率的阈值，是正奖励和负奖励的边界，保证智能体在具有一定保密率的情况下可以获得更多的正奖励，R_m，security为保密率，定义为

R_m，security＝[R_m-R_m，e]⁺

其中，R_m表示第m条V2X链路的传输速率，R_m，e表示第m个V2X链路上的窃听速率，y＝[x]⁺表示x的非负值，即

进一步，所述步骤4包括如下具体步骤：

步骤4-1：在记忆回放池中选取一小批训练样本数据(s_t，a_t，r_t，s_t+1)构成数据集；

步骤4-2：计算Q估计为

y_t＝r_t+γmaxQ(s_t+1，a_t+1；θ′_t)

其中γ为折扣率，该值越接近1，表示对未来长期奖励越重视，越接近0，对未来奖励越不敏感，θ′_t为目标网络的参数；

步骤4-3：定义损失函数为

L_t(θ)＝∑_D(y_t-Q(s_t，a_t；θ))²

其中D为采样集合，即步骤4-1中选取的数据集，y_t为表达式4定义的Q估计；

步骤4-4：利用随机梯度下降法计算θ_t更新后的值为

其中α为迭代步长，L_t(θ_t)为表达式7定义的损失函数，更新θ_t使得Q(s_t，a_t；θ_t)尽可能接近于Q估计y_t；

步骤4-5：若满足t＜T，T为每一回合的总时间步，t为当前时间步，则t＝t+1，跳转至

步骤3，否则令t＝0，跳转至步骤4-6；

步骤4-6：若满足e＜E，E为训练总回合数，e为当前回合数，则e＝e+1，跳转至步骤3，否则跳转至步骤5。