[发明专利]模型更新的方法、终端和服务器在审
| 申请号: | 202010937433.5 | 申请日: | 2020-09-08 |
| 公开(公告)号: | CN114239668A | 公开(公告)日: | 2022-03-25 |
| 发明(设计)人: | 苏上超;王勇博;李斌;薛向阳;陈院林;黄一宁 | 申请(专利权)人: | 华为技术有限公司;复旦大学 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 李杭 |
| 地址: | 518129 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 更新 方法 终端 服务器 | ||
1.一种模型更新的方法,其特征在于,应用于终端,包括:
终端根据本地数据对模型进行训练,以获取训练后的模型的参数;
所述终端获取所述本地数据的分布特征;
所述终端将所述参数和所述分布特征发送给服务器,所述服务器用于基于至少两个所述终端发送的参数和所述分布特征进行模型聚合,以获取聚合后的模型的目标参数;
所述终端接收所述服务器发送的所述目标参数,并根据所述目标参数更新所述训练后的模型以获取目标模型。
2.根据权利要求1所述的方法,其特征在于,
所述分布特征具体包括正交矩阵集合,所述正交矩阵集合包括第一正交矩阵,所述第一正交矩阵根据输入所述模型的第一网络层的第一数据确定,所述第一正交矩阵用于确定所述目标模型的第一网络层的第一目标参数,所述第一网络层为所述模型中的任意一个网络层。
3.根据权利要求2所述的方法,其特征在于,
所述终端获取所述本地数据的分布特征具体包括:
所述终端获取输入所述模型的第一网络层的第一数据的特征图;
所述终端根据所述第一网络层的卷积核尺寸从所述特征图中确定多个特征图区域;
所述终端根据所述多个特征图区域获取所述第一正交矩阵。
4.根据权利要求2所述的方法,其特征在于,
所述训练包括N次迭代训练过程;
所述终端获取所述本地数据的分布特征具体包括:
所述终端在第i+1次迭代训练过程中,基于输入所述第一网络层的数据的特征图,对第i次迭代训练过程中所述第一网络层对应的正交矩阵进行更新,以获取第i+1次迭代训练过程中所述第一网络层对应的第一正交矩阵,所述i大于0,且小于或等于所述N。
5.根据权利要求4所述的方法,其特征在于,
所述终端在第i+1次迭代训练过程中,基于输入所述第一网络层的数据的特征图,对第i次迭代训练过程中所述第一网络层对应的正交矩阵进行更新,以获取第i+1次迭代训练过程中所述第一网络层对应的第一正交矩阵具体包括:
所述终端在第i+1次迭代训练过程中,基于输入所述第一网络层的数据和所述第一网络层的卷积核尺寸获取多个特征图区域;
所述终端获取所述多个特征图区域的平均化后的目标特征图;
所述终端根据所述目标特征图对第i次迭代训练过程中所述第一网络层对应的正交矩阵进行更新,以获取第i+1次迭代训练过程中所述第一网络层对应的正交矩阵。
6.根据权利要求1至5中任一项所述的方法,其特征在于,
在所述终端根据本地数据对模型进行训练之前,所述方法还包括:
所述终端接收所述服务器发送的学习启动请求,所述学习启动请求用于指示所述终端训练所述模型。
7.根据权利要求1至6中任一项所述的方法,其特征在于,
在所述终端根据本地数据对模型进行训练之前,所述方法还包括:
所述终端接收所述服务器发送的所述模型和训练参数。
8.一种模型更新的方法,其特征在于,应用于服务器,包括:
服务器接收至少两个终端中每个终端发送的训练后的模型的参数和所述终端用于训练模型的本地数据的分布特征;
所述服务器根据所述参数和所述分布特征进行模型聚合,以获取聚合后的目标模型的目标参数;
所述服务器将所述目标参数发送给所述至少两个终端,以使得所述至少两个终端中每个终端基于所述目标参数更新所述训练后的模型以获取所述目标模型。
9.根据权利要求8所述的方法,其特征在于,
所述分布特征具体包括正交矩阵集合,所述正交矩阵集合包括第一正交矩阵,所述第一正交矩阵用于确定所述目标模型的第一网络层的第一目标参数,所述第一网络层为所述模型中的任意一个网络层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;复旦大学,未经华为技术有限公司;复旦大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010937433.5/1.html,转载请声明来源钻瓜专利网。





