[发明专利]一种联邦学习模型优化方法及装置在审

专利信息
申请号: 202110362763.0 申请日: 2021-04-02
公开(公告)号: CN113112026A 公开(公告)日: 2021-07-13
发明(设计)人: 李明春;丁晓强;单洪政;徐震南;李如辉 申请(专利权)人: 佳讯飞鸿(北京)智能科技研究院有限公司
主分类号: G06N20/00 分类号: G06N20/00;G06F21/62
代理公司: 北京汲智翼成知识产权代理事务所(普通合伙) 11381 代理人: 陈曦;任佳
地址: 100044 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 联邦 学习 模型 优化 方法 装置
【权利要求书】:

1.一种联邦学习模型优化方法,其特征在于包括如下步骤:

建立参与联邦学习的各个数据终端的智能体,以根据获取的本地训练数据得到各个数据终端的本地模型参数,根据获取的预设长度存储队列中的实时本地训练数据进行强化学习训练,得到各个数据终端的本地模型;

从各个智能体中任意选择一个作为协调智能体,接收余下智能体发送的所述本地模型参数和所述本地模型,对所述本地模型参数综合处理后,得到联邦学习模型参数,并根据所述联邦学习模型参数得到第一模型;

采用主服务端将各个数据终端的本地模型依次分别与所述第一模型进行模型融合,生成相应的初始融合模型,并记录模型融合中的测试指标,得到每个初始融合模型的模型性能测试结果;

主服务端根据各个初始融合模型的模型性能测试结果,结合所述本地模型参数,确定每个初始融合模型分别对于各个数据终端的权重值;

对每个初始融合模型分别对于各个数据终端的权重值进行综合处理,得到各个所述初始融合模型的综合权重值后进行排序,将设定数量的排序在前的初始融合模型在主服务端进行模型融合,得到联邦学习模型。

2.如权利要求1所述的联邦学习模型优化方法,其特征在于:

参与联邦学习的多个数据终端各自选择信任的服务端建立智能体。

3.如权利要求1所述的联邦学习模型优化方法,其特征在于:

所述智能体建立通信网络,并选择共同信任的,且是所述智能体所在服务端以外的服务端作为联邦学习的主服务端。

4.如权利要求1所述的联邦学习模型优化方法,其特征在于:

所述协调智能体对各个数据终端的本地模型参数综合处理时,将各个所述本地模型参数进行去重处理,得到联邦学习模型参数。

5.如权利要求1所述的联邦学习模型优化方法,其特征在于:

所述测试指标包括初始融合模型对所述联邦学习模型参数中的不同模型参数的支持强度;

每个初始融合模型对应生成一个关于联邦学习模型参数的数组,作为模型性能测试结果。

6.如权利要求1所述的联邦学习模型优化方法,其特征在于:

每个所述初始融合模型分别对于各个所述数据终端的权重值为从相应的初始融合模型的模型性能测试结果中,提取各个所述数据终端的本地模型参数的支持强度后,分别对应进行加权平均得到的简单权重值。

7.如权利要求6所述的联邦学习模型优化方法,其特征在于:

从本地训练数据的数据量、连接设备数和采集数据质量分值中选择至少一个权重选项,与每个初始融合模型对于各个数据终端的简单权重值,逐一进行加权平均,得到每个初始融合模型分别对于各个数据终端的权重值。

8.如权利要求1所述的联邦学习模型优化方法,其特征在于:

对于单个初始融合模型分别对于各个数据终端的权重值进行综合处理时,将所述初始融合模型对于各个数据终端的权重值进行相加,得到所述初始融合模型的综合权重值。

9.一种联邦学习模型优化装置,其特征在于包括处理器和存储器,所述处理器读取所述存储器中的计算机程序或指令,用于执行以下操作:

建立参与联邦学习的各个数据终端的智能体,以根据获取的本地训练数据得到各个数据终端的本地模型参数,根据获取的预设长度存储队列中的实时本地训练数据进行强化学习训练,得到各个数据终端的本地模型;

从各个智能体中任意选择一个作为协调智能体,接收余下智能体发送的所述本地模型参数和所述本地模型,对所述本地模型参数综合处理后,得到联邦学习模型参数,并根据所述联邦学习模型参数得到第一模型;

采用主服务端将各个数据终端的本地模型依次分别与所述第一模型进行模型融合,生成相应的初始融合模型,并记录模型融合中的测试指标,得到每个初始融合模型的模型性能测试结果;

主服务端根据各个初始融合模型的模型性能测试结果,结合所述本地模型参数,确定每个初始融合模型分别对于各个数据终端的权重值;

对每个初始融合模型分别对于各个数据终端的权重值进行综合处理,得到各个所述初始融合模型的综合权重值后进行排序,将设定数量的排序在前的初始融合模型在主服务端进行模型融合,得到联邦学习模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于佳讯飞鸿(北京)智能科技研究院有限公司,未经佳讯飞鸿(北京)智能科技研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110362763.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top