[发明专利]一种面向无标签数据的异构联邦学习方法和系统

权利要求书

1.一种面向无标签数据的异构联邦学习方法，其特征在于，包括应用于服务器的异构联邦学习子方法和应用于客户端的无标签数据学习子方法；

所述异构联邦学习子方法包括：

获取多分支的全局深度模型；

采用标签数据对所述多分支的全局深度模型进行训练，得到训练后的多分支的全局深度模型；

将所述训练后的多分支的全局深度模型拆分为多个分支子模型，分别将各分支子模型作为相应客户端的老师模型并发送给相应的客户端；

接收各客户端的客户端模型，并对各客户端模型进行聚合以得到全局多分支学生模型；

响应于所述全局多分支学生模型的精确度小于设定精确度，根据所述标签数据对所述全局多分支学生模型进行调整；

将调整后的全局多分支学生模型拆分以得到更新后的各老师模型，并将更新后的各老师模型分别发送给相应的客户端；

所述无标签数据学习子方法包括：

获取相应的老师模型；

采用老师模型对客户端本地的无标签数据进行标记，以得到伪标签数据；

根据所述伪标签数据对相应的老师模型进行更新，以得到相应的客户端模型；

将相应的客户端模型发送给所述服务器。

2.根据权利要求1所述的面向无标签数据的异构联邦学习方法，其特征在于，所述获取多分支的全局深度模型包括：

获取单出口的全局深度模型；

将若干个提前退出的分支子模型插入所述单出口的全局深度模型，以得到多分支的全局深度模型。

3.根据权利要求1所述的面向无标签数据的异构联邦学习方法，其特征在于，所述根据所述伪标签数据对相应的老师模型进行更新包括：

获取相应老师模型的精确度；

根据相应老师模型的精确度以及所述伪标签数据的数量，确定设定数量的值；

选取设定数量的伪标签数据对相应的老师模型进行更新。

4.根据权利要求1-3任意一项所述的面向无标签数据的异构联邦学习方法，其特征在于，根据相应老师模型的精确度选取设定数量的伪标签数据对相应的老师模型进行更新的过程中，所采用的损失函数为引入正则项的损失函数。

5.根据权利要求1所述的面向无标签数据的异构联邦学习方法，其特征在于，所述对各客户端模型进行聚合以得到全局多分支学生模型包括：对相同类型客户端模型内部加权以进行同构聚合，以及对不同类型客户端模型之间进行异构聚合。

6.一种面向无标签数据的异构联邦学习系统，其特征在于，包括服务器和多个客户端；

所述服务器用于执行如下异构联邦学习子方法：

获取多分支的全局深度模型；

采用标签数据对所述多分支的全局深度模型进行训练，得到训练后的多分支的全局深度模型；

将所述训练后的多分支的全局深度模型拆分为多个分支子模型，分别将各分支子模型作为相应客户端的老师模型并发送给相应的客户端；

接收各客户端的客户端模型，并对各客户端模型进行聚合以得到全局多分支学生模型；

响应于所述全局多分支学生模型的精确度小于设定精确度，根据所述标签数据对所述全局多分支学生模型进行调整；

将调整后的全局多分支学生模型拆分以得到更新后的各老师模型，并将更新后的各老师模型分别发送给相应的客户端；

所述客户端用于执行如下无标签数据学习的子方法：

获取相应的老师模型；

采用老师模型对客户端本地的无标签数据进行标记，以得到伪标签数据；

根据所述伪标签数据对相应的老师模型进行更新，以得到相应的客户端模型；

将相应的客户端模型发送给所述服务器。

7.根据权利要求6所述的面向无标签数据的异构联邦学习系统，其特征在于，所述获取多分支的全局深度模型包括：

获取单出口的全局深度模型；

将若干个提前退出的分支子模型插入所述单出口的全局深度模型，以得到多分支的全局深度模型。