[发明专利]一种近端策略优化辅助的车联网联邦学习客户端选择方法

权利要求书

1.一种近端策略优化辅助的车联网联邦学习客户端选择方法，其特征在于，包括以下步骤：

S1、通过MEC服务器初始化AI全局模型；

S2、ICV发送联邦学习参与请求消息至MEC服务器，MEC服务器标记所述ICV为候选ICV；

S3、MEC服务器发送联邦学习参与请求反馈消息至候选ICV，通知候选ICV准备接收AI全局模型；

S4、MEC服务器下载AI全局模型至全部候选ICV；

S5、候选ICV执行一轮本地AI模型训练；

S6、候选ICV上传本地信息至MEC服务器；

S7、MEC服务器通过PPO辅助的决策算法确立策略函数，用以选择实际参与联邦学习的ICV；

S8、MEC服务器发送联邦学习参与接受消息至选中ICV，发送联邦学习参与拒绝消息至未选中ICV；

步骤S7包括：

S70、构建候选ICV的状态参数集合；

S71、初始化策略函数神经网络；

S72、初始化价值函数神经网络；

S73、初始化迭代次数为1；

S74、生成策略函数执行轨迹；

S75、根据策略函数执行轨迹，计算优势函数；

S76、根据策略函数执行轨迹和优势函数，更新策略函数的参数；

S77、根据策略函数执行轨迹，计算奖励值；

S78、根据策略函数执行轨迹和奖励值，更新价值函数的参数；

S79、迭代次数增加1次，并判断是否到达最大迭代次数：若不是，返回步骤S74；若是，结束；

步骤S75中，优势函数的计算公式如下：

其中，γ为折扣值，λ为平滑参数，s为状态S的值，V_φ为价值函数神经网络，k为迭代次数，t为策略函数执行次数，T_s为最大执行次数，r为奖励值；

步骤S76包括：

根据策略函数执行轨迹和优势函数，更新策略函数的参数θ_k+1：

其中，π_θ为策略函数神经网络，a_t为选择策略；

步骤S74包括：

S741、初始化策略函数执行次数为0；

S742、根据状态计算不同选择策略概率；

S743、根据概率最大值确定选择策略；

S744、根据确定的选择策略计算奖励值；

S745、记录当前时刻的状态、选择策略和奖励值；

S746、根据确定的选择策略更新状态；

S747、执行次数增加1，并判断是否到达最大执行次数：若不是，返回步骤S742；若是，结束；

步骤S70包括：

S701、MEC服务器根据收到的AI模型参数聚合生成AI全局模型参数；

S702、计算候选ICV的权差作为评估候选ICV本地数据质量的量化指标；公式如下：wd_j为候选ICV的权差；为一轮训练后更新的AI模型参数；为聚合生成的AI全局模型参数；

S703、基站通过测量估计候选ICV的数据传输速率；

S704、构建候选ICV的状态参数集合；

步骤S77包括：

根据策略函数执行轨迹，计算奖励值公式如下：

步骤S78包括：

根据策略函数执行轨迹和奖励值，更新价值函数的参数φ_k+1，公式如下：

所述本地信息包括一轮训练后更新的AI模型参数、CPU周期频率、电池容量。

2.如权利要求1所述的近端策略优化辅助的车联网联邦学习客户端选择方法，其特征在于，所述策略函数神经网络的输入为全部K个候选ICV状态参数的并集，输出为ICV选择策略的概率；ICV选择策略的集合为单一ICV选择策略集合的笛卡尔乘积；单一ICV选择策略集合A_j＝{0,1}，1代表选择第j个ICV，0代表不选择第j个ICV，ICV选择策略的数量为|A|＝2^K，K≥2。

3.如权利要求1所述的近端策略优化辅助的车联网联邦学习客户端选择方法，其特征在于，所述价值函数神经网络输入为全部K个候选ICV状态参数的并集，输出为奖励值的估计值，K≥2。