[发明专利]联合更新模型的方法、装置及系统

说明书

本说明书实施例提供一种联合更新模型的方法、装置及系统，用于服务方与k个数据方联合更新模型的过程。其中，各个数据方分别利用本地训练样本更新模型对应的M个待同步参数并选择部分更新值以及当前同步周期使用的本地训练样本数量上传至服务方，服务方根据各个数据方上传的训练样本数量聚合各个待同步参数的更新值，得到各个聚合值构成的同步参数集W_t，并反馈给各个数据方，各个数据方利用同步参数集W_t，更新本地的待定参数，从而更新本地模型。这种实施方式可以提高模型精度，加快收敛速度。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及联合更新模型的方法、装置及系统。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定机器学习模型结构(或约定模型)后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

然而，随着任务复杂性和对性能要求的逐渐提升，联邦学习中的模型网络层数呈逐渐加深的趋势，模型参数也相应的越来越多。以人脸识别ResNET-50为例，原始模型拥有超过2000万个参数，模型大小超过100MB。特别是在一些参与联邦学习的训练成员较多的场景中，服务器接收的数据呈几何倍数上升。常规技术中，通常采用压缩各个训练成员上传至服务方的参数数量的方式，稀疏化上传参数，减小通信压力，避免通信阻塞。在服务器对稀疏化参数直接求均值进行聚合的情况下，当训练成员对参数的稀疏化程度较小时，对通信压力的改善不明显，当训练成员对参数的稀疏化程度较大时，聚合模型也可能为稀疏模型，从而降低联邦模型的精度和收敛速度。

发明内容

本说明书一个或多个实施例描述了一种联合更新模型的方法、装置及系统，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种联合更新模型的方法，应用于服务方与k个数据方联合更新模型的过程，所述k个数据方包括数据方i，所述方法包括：所述数据方i利用n_i个本地训练样本更新业务模型对应的M个待同步参数；所述数据方i从M个待同步参数中选择m_i个待同步参数，将其相应的m_i个更新值，以及当前同步周期使用的训练样本数量n_i上传至服务方；服务方根据各数据方上传的训练样本数量，聚合各个待同步参数的更新值，得到各个聚合值构成的同步参数集W_t，并反馈给各个数据方，其中，对于单个待同步参数，相应聚合值根据各个相应更新值的加权平均结果确定，单个更新值的加权权重与当前数据方在当前同步周期使用的训练样本数量正相关；所述数据方i利用所述同步参数集W_t，更新本地模型中的待定参数，从而更新本地模型。

在一个实施例中，所述数据方i通过以下至少一种方式从M个待同步参数集中选择m_i个待同步参数：从M个待同步参数随机选择m_i个待同步参数；按照M个待同步参数的更新值的绝对值从大到小的顺序选择m_i个待同步参数；从M个待同步参数选择预先指定的m_i个待同步参数。

在一个实施例中，m_i通过待同步参数的总数M和预先设定的参数压缩比α确定。

在一个实施例中，m_i为待同步参数的总数M和预先设定的参数压缩比α以及当前周期的衰减系数的乘积，当前周期的衰减系数由预定衰减因子的减函数确定。