[发明专利]具有数据相关可用性的分布式设备上学习的系统和方法

说明书

本公开提供了用于机器学习模型的分布式训练的系统和方法。在一个示例中，提供了用于训练机器学习模型的计算机实施的方法。该方法包括：由一个或多个计算设备至少部分基于用户设备的时间可用性来获得多个区域；选择区域内的多个可用用户设备；以及向该区域内的多个选定用户设备提供与该区域相关联的机器学习模型的当前版本。该方法包括：从多个选定用户设备获得由多个选定用户设备通过使用多个选定用户设备中的每一个的本地数据来训练与该区域相关联的机器学习模型的当前版本而生成的更新的机器学习模型数据，并基于更新的机器学习模型数据来生成与该区域相关联的更新的机器学习模型。

技术领域

本公开总体涉及机器学习。更具体地，本公开涉及机器学习模型的分布式训练。

背景技术

联合学习(federated learning)系统基于从大量用户与其设备(例如，智能电话等)交互生成的数据来训练机器学习模型，而不需要从设备中取出数据。例如，每个循环都选择在线设备的子集(例如，1000等)，并且机器学习模型的当前版本被发送到那些选定的设备。那些选定的设备中的每一个被赋予使用它们自己本地生成并本地存储的数据来计算模型的更新的任务。然后，模型更新被发送回服务器、进行平均、并应用于服务器的模型，以便为用户的下一次迭代(例如，设备的下一个子集)产生模型的新版本。

在某些假设下，联合学习过程会学习一个性能相当的模型，如果所有数据和训练都集中在数据中心进行，就会学习到这种模型。其中一个假设是，联合学习的每次迭代可用的客户端集都具有完整数据集的代表性样本。然而，这往往与事实相去甚远。例如，考虑使用联合学习来训练自然语言模型。一般地，设备更有可能在用户的本地时区的夜间期间是可用的，时区与地缘文化边界高度相关，并且地缘文化边界与自然语言使用(例如，本地/主要语言)高度相关。因此，可用的训练数据的相对比例(例如，美式英语vs.普通话vs.印地语vs.法语等)随日常循环而变化，这对联合学习提出了挑战。

发明内容

本公开的实施例的方面和优点将在以下描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

本公开的一个示例方面针对一种用于训练机器学习模型的计算机实施的方法。该方法可以包括由一个或多个计算设备至少部分基于用户设备的时间可用性来生成多个区域。该方法还可以包括由一个或多个计算设备选择区域内的多个可用用户设备。该方法还可以包括由一个或多个计算设备向该区域内的多个选定用户设备提供与该区域相关联的机器学习模型的当前版本。该方法还可以包括由一个或多个计算设备从多个选定用户设备获得更新的机器学习模型数据，该更新的机器学习模型数据由多个选定用户设备通过使用多个选定用户设备中的每一个的本地数据来训练与该区域相关联的机器学习模型的当前版本而生成。该方法还可以包括由一个或多个计算设备基于更新的机器学习模型数据生成与该区域相关联的更新的机器学习模型。