[发明专利]联合更新模型的方法及装置

说明书

本说明书实施例提供一种联合更新模型的方法及装置，在联邦学习过程中，训练成员上传部分待同步参数，服务方向训练成员下发部分待同步参数的聚合值，从而减少联合训练过程中的数据通信量。其中，针对单个训练成员，基于训练成员上传的待同步参数和服务方确定的聚合值共同选择下发的聚合值，从而充分考虑训练成员的本地数据特点，以及全局数据特点，使得通过联邦学习训练的模型更加符合实际业务需求，提高联邦学习的有效性。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及联合更新模型的方法及装置。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定机器学习模型结构(或约定模型)后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

然而，随着任务复杂性和对性能要求的逐渐提升，联邦学习中的模型网络层数呈逐渐加深的趋势，模型参数也相应的越来越多。以人脸识别ResNET-50为例，原始模型拥有超过2000万个参数，模型大小超过100MB。特别是在一些参与联邦学习的训练成员较多的场景中，服务器接收的数据呈几何倍数上升。因此，联合训练模型过程中，如何对各个训练成员于服务方交互的参数进行稀疏化，是减小通信压力、避免通信阻塞的重要问题。

发明内容

本说明书一个或多个实施例描述了一种联合更新模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种联合更新模型的方法，应用于服务方与多个训练成员联合更新模型的过程，其中，各个训练成员的局部模型与服务方持有的全局模型结构一致，所述方法包括：各个训练成员各自利用本地训练样本更新模型对应的M个待同步参数，各个待同步参数一一对应于所述模型的各个待定参数；各个训练成员各自从M个待同步参数中选择多个待同步参数以上传相应的各个至服务方，其中，单个训练成员i选择的待同步参数个数为m_i；服务方聚合各个训练成员上传的待同步值，得到M个待同步参数分别对应的M个聚合值；服务方根据所述M个聚合值为各个训练成员分别反馈各个同步参数集，其中，单个训练成员i对应的同步参数集W_i对应有n_i个聚合值，所述n_i个聚合值对应的n_i个待同步参数经由其上传的m_i个待同步值和所述M个聚合值共同确定；各个训练成员各自利用相应的同步参数集更新本地模型中的待定参数，从而更新本地模型。

在一个实施例中，单个待同步参数为单个待定参数、单个待定参数的梯度、单个待定参数的当前值与初始值的差值中的一项。

在一个实施例中，各个训练成员的本地模型的待定参数由服务方统一进行初始化，各个训练成员的本地训练样本之间构成水平切分。

在一个实施例中，单个训练成员i选择的待同步参数个数m_i根据预定的局部激活比例与待同步参数的数量M的乘积确定。

在一个实施例中，单个训练成员i通过剪枝、稀疏化模型中的至少一种方式确定上传的待同步参数个数m_i。

在一个实施例中，服务方针对单个待同步参数的待同步值的聚合可以通过各个训练成员关于该单个待同步参数值上传的待同步值的加权求和、求均值、取中位数、取最大值、取最小值中的至少一种方式进行。