[发明专利]联合更新模型的方法及装置

权利要求书

1.一种联合更新模型的方法，应用于服务方与多个训练成员联合更新模型的过程，其中，各个训练成员的局部模型与服务方持有的全局模型结构一致，所述方法包括：

各个训练成员各自利用本地训练样本更新模型对应的M个待同步参数，各个待同步参数一一对应于所述模型的各个待定参数；

各个训练成员各自从M个待同步参数中选择多个待同步参数以上传相应的各个至服务方，其中，单个训练成员i选择的待同步参数个数为m_i；

服务方聚合各个训练成员上传的待同步值，得到M个待同步参数分别对应的M个聚合值；

服务方根据所述M个聚合值为各个训练成员分别反馈各个同步参数集，其中，单个训练成员i对应的同步参数集W_i对应有n_i个聚合值，所述n_i个聚合值对应的n_i个待同步参数经由其上传的m_i个待同步值和所述M个聚合值共同确定；

各个训练成员各自利用相应的同步参数集更新本地模型中的待定参数，从而更新本地模型。

2.根据权利要求1所述的方法，其中，单个待同步参数为单个待定参数、单个待定参数的梯度、单个待定参数的当前值与初始值的差值中的一项。

3.根据权利要求1所述的方法，其中，各个训练成员的本地模型的待定参数由服务方统一进行初始化，各个训练成员的本地训练样本之间构成水平切分。

4.根据权利要求1所述的方法，其中，单个训练成员i选择的待同步参数个数m_i根据预定的局部激活比例与待同步参数的数量M的乘积确定。

5.根据权利要求1所述的方法，其中，单个训练成员i通过剪枝、稀疏化模型中的至少一种方式确定上传的待同步参数个数m_i。

6.根据权利要求1所述的方法，其中，服务方针对单个待同步参数的待同步值的聚合可以通过各个训练成员关于该单个待同步参数值上传的待同步值的加权求和、求均值、取中位数、取最大值、取最小值中的至少一种方式进行。

7.根据权利要求1所述的方法，其中，针对训练成员i，m_i个待同步值描述出局部稀疏值集所述M个聚合值描述出全局模型的聚合值集W_s,t，服务方通过以下方式确定相应的同步参数集W_i：

对全局模型的聚合值集W_s,t进行稀疏化，得到全局稀疏值集

基于局部稀疏值集和全局稀疏值集确定相应的同步参数集W_i。

8.根据权利要求7所述的方法，其中，全局模型的聚合值集通过矩阵描述，局部稀疏值集、全局稀疏值集分别通过局部稀疏矩阵、全局稀疏矩阵描述。

9.根据权利要求8所述的方法，其中，所述基于局部稀疏值集和全局稀疏值集确定相应的同步参数集W_i包括：

分别检测局部稀疏矩阵和全局稀疏矩阵中的非零元素位置，得到局部稀疏位置矩阵M_i,t和全局稀疏位置矩阵M_s,t；

基于稀疏位置矩阵M_i,t和M_s,t的非零元素位置的并集确定同步参数集对应的稀疏位置矩阵

按照稀疏位置矩阵指示的非零元素位置从各个聚合值中选择相应的若干个聚合值构成同步参数集W_i。

10.根据权利要求9所述的方法，其中，稀疏位置矩阵中的非零元素位置为：

并集中的非零元素位置；

从并集中随机选择的预定数量的非零元素位置；

按照预定选择概率从并集中选择的预定数量的非零元素位置，其中，针对稀疏位置矩阵M_i,t和M_s,t的非零元素位置的交集位置的第一选择概率大于其他位置的第二选择概率。