[发明专利]一种混合联邦学习方法及架构

权利要求书

1.一种混合联邦学习方法，其特征在于，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述方法包括：

针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。

2.如权利要求1所述的方法，其特征在于，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。

3.如权利要求1所述的方法，其特征在于，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：

针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：

所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；

所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；

所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；

所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。

4.如权利要求1-3任一所述的方法，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：

将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。

5.如权利要求1-3任一所述的方法，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：

通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；

通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。

6.一种混合联邦学习架构，其特征在于，包括：多组第一联邦学习系统和协调者；其中，每组第一联邦学习系统包括多个参与者；同组第一联邦学习系统内的各参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组第一联邦学习系统间的各参与者的数据集之间包含有相同的样本特征及不同的样本对象；

任一参与者，用于，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；

所述协调者，用于对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者。

7.如权利要求6所述的架构，其特征在于，所述协调者为各第一联邦学习系统内的组内协调者；或所述协调者为各第一联邦学习系统间的组间协调者。

8.如权利要求7所述的架构，其特征在于，所述参与者，用于将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；

所述参与者，还用于根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；

所述组内协调者，还用于根据各参与者的训练结果确定更新参数并发送给各参与者；

所述参与者，还用于根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。

9.一种计算机设备，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至5中任意一项所述的方法被执行。

10.一种存储介质，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至5中任意一项所述的方法被执行。