[发明专利]联合更新模型的方法、装置及系统

权利要求书

1.一种联合更新模型的方法，应用于服务方与k个数据方联合更新模型的过程，所述k个数据方包括数据方i，所述方法包括：

所述数据方i利用n_i个本地训练样本更新模型对应的M个待同步参数；

所述数据方i从M个待同步参数中选择m_i个待同步参数，将其相应的m_i个更新值，以及当前同步周期使用的训练样本数量n_i上传至服务方，m_i通过以下中的一项确定：预定压缩数量、预先设定的参数压缩比α、本地带宽；

服务方根据各数据方上传的训练样本数量，聚合各个待同步参数的更新值，得到各个聚合值构成的同步参数集W_t，并反馈给各个数据方，其中，对于单个待同步参数，相应聚合值根据各个相应更新值的加权平均结果确定，单个更新值的加权权重与当前数据方在当前同步周期使用的训练样本数量正相关；

所述数据方i利用所述同步参数集W_t，更新本地模型中的待定参数，从而更新本地模型。

2.根据权利要求1所述的方法，其中，所述数据方i通过以下至少一种方式从M个待同步参数集中选择m_i个待同步参数：

从M个待同步参数随机选择m_i个待同步参数；

按照M个待同步参数的更新值的绝对值从大到小的顺序选择m_i个待同步参数；

从M个待同步参数选择预先指定的m_i个待同步参数。

3.根据权利要求1所述的方法，其中，在m_i由预先设定的参数压缩比α确定的情况下，m_i为待同步参数的总数M和预先设定的参数压缩比α以及当前周期的衰减系数的乘积，当前周期的衰减系数由预定衰减因子的减函数确定。

4.一种联合更新模型的方法，应用于服务方与k个数据方联合更新模型的过程，所述方法由服务方执行，用于在各个同步周期对k个数据方的待同步参数进行同步；在当前同步周期，所述方法包括：

从所述k个数据方中的s个数据方接收第一参数对应的s个第一更新值，以及s个数据方各自在当前同步周期使用的训练样本数量，其中，单个第一更新值经由单个数据方在当前同步周期通过若干个本地样本更新，s为大于等于0小于等于k的正整数，所述第一参数是第一模型参数对应的待同步参数，s个数据方中的单个数据方上传包括第一参数对应的单个第一更新值在内的m_i个待同步参数的更新值，m_i通过以下中的一项确定：预定压缩数量、预先设定的参数压缩比α、本地带宽；

通过s个数据方各自在当前同步周期使用的本地训练样本的数量，确定第一参数对应的第一样本总量；

利用基于所述第一样本总量确定的s个权重系数，对s个第一更新值加权平均，从而基于加权平均结果得到所述第一参数对应的第一聚合值，其中，单个权重系数与所述第一样本总量负相关，与相应数据方在当前同步周期使用的训练样本数量正相关；

将所述第一聚合值反馈给各个数据方，以供各个数据方各自利用所述第一聚合值更新本地的第一参数，从而更新本地模型。

5.根据权利要求4所述的方法，其中，所述待同步参数为所述模型的待定参数，或待定参数的梯度。

6.根据权利要求4所述的方法，其中，在所述第一样本总量为0的情况下，将所述第一聚合值确定为预定值或所述第一参数在前一周期对应的第一聚合值。