[发明专利]一种近端策略优化辅助的车联网联邦学习客户端选择方法有效
申请号: | 202210060912.2 | 申请日: | 2022-01-19 |
公开(公告)号: | CN114554459B | 公开(公告)日: | 2023-01-06 |
发明(设计)人: | 于天琪;陈中悦;刘昌荣;羊箭锋;胡剑凌 | 申请(专利权)人: | 苏州大学 |
主分类号: | H04W4/46 | 分类号: | H04W4/46;H04L67/10;G06N20/20;G06N3/04;G06N3/08 |
代理公司: | 苏州市中南伟业知识产权代理事务所(普通合伙) 32257 | 代理人: | 王广浩 |
地址: | 215000 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 策略 优化 辅助 联网 联邦 学习 客户端 选择 方法 | ||
本发明公开了一种近端策略优化辅助的车联网联邦学习客户端选择方法,包括:S1、通过MEC服务器初始化AI全局模型;S2、ICV发送联邦学习参与请求消息至MEC服务器,MEC服务器标记所述ICV为候选ICV;S3、MEC服务器发送联邦学习参与请求反馈消息至候选ICV,通知候选ICV准备接收AI全局模型;S4、MEC服务器下载AI全局模型至全部候选ICV;S5、候选ICV执行一轮本地AI模型训练;S6、候选ICV上传本地信息至MEC服务器;S7、MEC服务器通过PPO辅助的决策算法确立策略函数,用以选择实际参与联邦学习的ICV;S8、MEC服务器发送联邦学习参与接受消息至选中ICV,发送联邦学习参与拒绝消息至未选中ICV。本发明具有稳定性高、能耗小、精度高等优点。
技术领域
本发明涉及车联网利用人工智能技术领域,特别涉及一种近端策略优化辅助的车联网联邦学习客户端选择方法。
背景技术
车联网利用人工智能(artificial intelligence,AI)技术为网联汽车提供智能化的服务,例如,高级驾驶辅助系统、无人驾驶。在传统的车联网中,汽车通过车载单元利用车辆与基础设施无线通信技术将本地车辆信息与驾驶数据统一上传至云服务器进行存储。基于存储的历史数据,利用云服务器的计算资源针对AI模型进行中心化训练。然而,信息与数据在从车辆上传至云服务器的过程中,数据传输的往返时延较长,且无线通信在开放空间以电磁波为载体进行传输,存在着数据隐私泄露的风险。因此,基于云服务器的数据采集、存储、与AI模型训练难以满足车联网系统服务对于超高可靠超低时延通信的需求。
联邦学习技术具有分布式本地化模型训练与安全多方计算的特点,已成为车联网中AI模型训练潜在的解决方案。客户端-服务器模式的车联网联邦学习架构如图1所示,该架构有三层组成,分别是本地计算层、边缘计算层、和云计算层。
本地计算层由多个智能网联汽车(intelligent connected vehicle,ICV)构成。智能网联汽车通过车载传感器实现传感数据的采集,通过车载计算单元实现本地计算,通过C-V2X无线通信接口与基站进行通信。在客户端-服务器模式的车联网联邦学习架构中,ICV作为底层客户端,负责传感数据采集和本地AI模型训练。
边缘计算层由多个配有移动边缘计算(mobile edge computing,MEC)服务器的基站构成。MEC服务器与基站共同部署于边缘计算层,通过Ethernet有线通信技术相互连接。其中,基站负责边缘计算层通信功能的实现,即南向通过C-V2X无线通信技术与智能网联汽车通信,北向通过Ethernet有线通信技术与云服务器通信;MEC服务器负责边缘计算层计算功能的实现,为智能网联汽车的实时服务提供支撑。在客户端-服务器模式的车联网联邦学习架构中,MEC服务器作为参数服务器,负责AI全局模型的初始化与训练过程中的参数聚合。
云计算层由公有云服务器构成。云服务器在车联网中作为远程的数据与控制中心,负责系统信息的存储与备份。
依托于该架构的AI模型联邦学习过程为:1)由MEC服务器初始化AI全局模型并下载至ICV;2)ICV利用存储的信息与数据对AI模型进行本地化训练,并将训练后的AI模型参数上传至MEC服务器;3)MEC服务器对分布式训练的AI模型参数进行聚合,并更新AI全局模型;4)MEC服务器下载AI全局模型至ICV,并重复步骤2-4直至AI模型收敛或达到训练时限。其中,MEC服务器部署于基站处,相较于远程的云服务器,能够降低系统传输时延;以AI模型参数上传替代原始车辆信息与数据上传,能够降低数据上传量并保障数据隐私安全。然而,车联网联邦学习架构中,如何选择本地训练客户端,仍是亟待解决的关键问题。现有的几种算法如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州大学,未经苏州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210060912.2/2.html,转载请声明来源钻瓜专利网。