[发明专利]一种面向无标签数据的异构联邦学习方法和系统

说明书

本发明提供一种面向无标签数据的异构联邦学习方法和系统，其中方法包括：异构联邦学习子方法：在全局深度模型插入分支构成多分支模型；对多分支模型进行训练得到训练后的多分支模型；根据分支数量将全局深度模型拆分为多个分支子模型；将各分支子模型作为教师模型分配至资源异构的客户端。无标签数据学习子方法：客户端从服务器端下载老师模型；根据得到老师模型对无标签数据进行预测打标；选择伪标签数据用于客户端训练；客户端利用本地数据进行训练得到学生模型；服务器接收客户端学生模型并聚合微调为新的全局模型。本发明的技术方案，充分利用客户端的无标签数据特征，在保证模型精度的同时，降低联邦学习中计算、通信以及存储的资源开销。

技术领域

本发明涉及异构联邦学习方法的技术领域，具体涉及一种面向无标签数据的异构联邦学习方法和系统。

背景技术

随着科学技术的发展，不仅终端设备种类和数量都在不断的增加，终端设备的计算性能也在不断的提升，而且为了满足工作的需求，很多终端设备上需要执行复杂的计算任务。以无人驾驶的应用场景为例，在无人驾驶的车辆上需要装配车载终端，车载终端需要对车辆周围的环境进行感知和判别，并规划出最优的行进路线。

在一个系统中，当有大量这样的终端设备参与计算时，就会形成分布式计算场景，传统的分布式计算方法是将终端用户的数据直接上到服务器端对智能模型进行训练，这种方法虽然能够使各终端设备得到相应的智能模型，但是需要大量的通信开销，更严重的是，这些数据大多包含着用户的隐私，直接对用户的隐私安全构成严重威胁。

为了解决上述问题，可以采用联邦学习的方法，在终端设备上对相应的模型进行本地训练，以得到相应的智能模型。由于联邦方法不需要终端设备与服务器进行大量的数据传输，可以减少通信开销并有效避免数据泄露，因此成为了一种热门的分布式训练框架。

在实际应用场景中，分布式框架下的终端设备构成异常复杂，不仅数量庞大，而且种类繁多，包括但不限于移动手机、智能穿戴设备、平板电脑、摄像机、无人汽车等。由于各个客户端面临的环境、处理的任务、配备的设备不同，这直接导致了客户端之间的计算能力、通信能力、储存能力存在较大差异。即使是执行同一类任务，各个客户端环境等因素也存在极强的异构性。我们把这个现象称为系统异构。在联邦学习过程中，各个客户端能够参与学习的模型复杂度上限也不尽相同，因此应该为不同的客户端设备适配不同复杂度的模型，以最大化利用客户端数据进行训练。在传统的联邦学习框架下，往往是将全局统一的模型分发到各个客户端，最终将各个客户端结构完全一致的模型进行汇聚得到最终模型，然而这种方式忽略了系统异构问题，导致一些资源不足的客户端训练失败，最终得到的模型未能有效整合所有客户端的数据特征。

此外，传统的联邦学习框架还建立在客户端存在大量有标签数据的基础上，然而在绝大多数情况下，在客户端建立足够大的标签数据库本身就是一件极具挑战性的工作，因为数据的标记不仅需要花费大量的时间，而且需要大量的专业人士从事挑战性低、重复性高的劳动，直接导致对人力资源的浪费。例如，在医疗系统中，倘若各个医疗机构都要建立一个带标签的数据库，那么就需要大量医生花费时间和精力从事与治病救人毫无关系的工作，在本就医患比失衡较大的情况下，是对医疗资源的严重浪费。并且在实际应用场景中，客户端存在大量无标签数据，而服务器端存在少量的标记数据，如果仅由服务器端对模型进行训练，则无法充分整合利用客户端上的无标签数据，所得到的模型的泛化性差。

综上所述，现有技术中的联邦学习方法，存在客户端资源利用效率低、无标签数据特征整合难的问题。

发明内容

本发明的目的是提供一种面向无标签数据的异构联邦学习方法和系统，至少解决上述现有技术中的联邦学习方法存在的存在客户端资源利用效率低、无标签数据特征整合难的问题。

为实现上述目的，一方面，本发明提供了一种面向无标签数据的异构联邦学习方法，包括应用于服务器的异构联邦学习子方法和应用于客户端的无标签数据学习子方法；