[发明专利]基于联邦学习的数据传输优化方法、设备及可读存储介质在审
申请号: | 202110343403.6 | 申请日: | 2021-03-30 |
公开(公告)号: | CN112948129A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 胡水海;苏霖锋 | 申请(专利权)人: | 深圳致星科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F12/0882;G06N20/00 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 郝怀庆 |
地址: | 518000 广东省深圳市南山区粤海街道高新*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 联邦 学习 数据传输 优化 方法 设备 可读 存储 介质 | ||
1.一种基于联邦学习的数据传输优化方法,其特征在于,所述基于联邦学习的数据传输优化方法应用于第一设备,所述基于联邦学习的数据传输优化方法包括:
获取待传输数据,并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流;
将所述待传输比特流发送至第二设备,以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式,将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据,并拷贝至所述第二硬件设备信息对应的目标设备内存。
2.如权利要求1所述基于联邦学习的数据传输优化方法,其特征在于,所述将所述待传输数据转换为携带第一硬件设备信息的待传输比特流的步骤包括:
在预设应用层中对所述第一硬件设备信息进行序列化,获得第一序列化数据;
对所述待传输数据进行第二次序列化,获得第二序列化数据;
将所述第一序列化数据和所述第二序列化数据进行拼接,获得所述携带第一硬件设备信息的待传输比特流。
3.一种基于联邦学习的数据传输优化方法,其特征在于,所述基于联邦学习的数据传输优化方法应用于第二设备,所述基于联邦学习的数据传输优化方法包括:
接收第一设备发送的待传输比特流,并对所述待传输比特流进行第一次反序列化,获得第一硬件设备信息和待转换比特流;
获取第二硬件设备信息,并基于所述第一硬件设备信息和所述第二硬件设备信息,将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据;
将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
4.如权利要求3所述基于联邦学习的数据传输优化方法,其特征在于,所述基于所述第一硬件设备信息和所述第二硬件设备信息,将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据的步骤包括:
基于所述第一硬件设备信息和所述第二硬件设备信息,确定反序列化函数信息;
通过调用所述反序列函数信息对应的目标反序列化函数,对所述待转换比特流进行第二次反序列化,获得所述目标格式数据。
5.一种基于联邦学习的数据传输优化方法,其特征在于,所述基于联邦学习的数据传输优化方法应用于第一设备,所述基于联邦学习的数据传输优化方法包括:
接收第二设备发送的第二硬件设备信息,并获取待传输数据以及第一硬件设备信息;
基于所述第一硬件设备信息和所述第二硬件设备信息,将所述待传输数据转换为待传输比特流;
将所述待传输比特流发送至第二设备,以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。
6.如权利要求5所述基于联邦学习的数据传输优化方法,其特征在于,所述基于所述第一硬件设备信息和所述第二硬件设备信息,将所述待传输数据转换为待传输比特流的步骤包括:
判断所述第一硬件设备信息和所述第二硬件设备信息是否一致;
若一致,则将所述待传输数据序列化为所述待传输比特流;
若不一致,则将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式,获得目标格式数据;
将所述目标格式数据序列化为所述待传输比特流。
7.如权利要求5所述基于联邦学习的数据传输优化方法,其特征在于,所述将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式,获得目标格式数据的步骤包括:
若所述第二硬件设备信息为GPU设备信息,则将所述待传输数据的数据格式由交换页内存模式转换为页锁定内存模式,获得所述目标格式数据;
若所述第二硬件设备信息为FPGA设备信息,则将所述待传输数据的数据格式由当前数据地址对齐模式转换为预设目标数据地址对齐模式,获得所述目标格式数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳致星科技有限公司,未经深圳致星科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110343403.6/1.html,转载请声明来源钻瓜专利网。