[发明专利]用于执行多机器学习任务的分布式系统及其方法

权利要求书

1.一种用于执行多机器学习任务的分布式系统，包括：

多个计算装置，被配置为分别获取指定数据集的不同部分数据，并共同执行多个机器学习任务；

其中，每个计算装置被配置为：基于自身所获取的部分数据并行地执行所述多个机器学习任务，其中，所述多个机器学习任务为多个模型训练任务或多个模型预测任务；

并且，每个计算装置还被配置为：一方面从数据源请求所述指定数据集中的数据，并对请求到的数据进行预处理后保存在本地，另一方面读取本地保存的数据，并基于读取的数据执行所述多个机器学习任务；其中，每个计算装置基于读取的本地保存的每一条数据，使用向量化指令并行地执行所述多个机器学习任务中需要使用该条数据的机器学习任务。

2.如权利要求1所述的分布式系统，还包括：

参数服务器，被配置为维护所述多个机器学习任务所涉及的多个机器学习模型的参数，其中，机器学习模型的参数具有键值对的形式，

其中，参数服务器被配置为：按照单个键对应于多个值的形式对所述多个机器学习模型的参数进行相同键合并后保存，或者，按照单个键对应于多个值的形式对所述多个机器学习模型的参数进行相同键合并，并对合并后的结果按照第一压缩方式进行压缩后保存。

3.如权利要求2所述的分布式系统，其中，当所述多个机器学习任务为所述多个模型训练任务时，

每个计算装置被配置为：将被合并了的训练所述多个机器学习模型所得到的结果提供给参数服务器，或者，将被合并且被按照第二压缩方式压缩了的训练所述多个机器学习模型所得到的结果提供给参数服务器，以使参数服务器更新所述多个机器学习模型的参数，

其中，所述结果按照单个键对应于多个值的形式被合并。

4.如权利要求2所述的分布式系统，其中，

参数服务器被配置为：将被合并了的每个计算装置所需的所述多个机器学习模型的参数提供给每个计算装置，或者，将被合并且被按照第三压缩方式压缩了的每个计算装置所需的所述多个机器学习模型的参数提供给每个计算装置。

5.如权利要求2所述的分布式系统，其中，当所述多个机器学习任务为所述多个模型训练任务时，

参数服务器被配置为：在每个计算装置执行所述多个机器学习任务的过程中，对计算装置训练一个机器学习模型时产生的能够用于其他机器学习模型的中间计算结果进行保存，以将所述中间计算结果用于所述其他机器学习模型。

6.如权利要求5所述的分布式系统，其中，所述一个机器学习模型和所述其他机器学习模型所对应的超参数中仅训练轮数不同，其中，所述一个机器学习模型所对应的训练轮数大于所述其他机器学习模型所对应的训练轮数，

其中，参数服务器被配置为：将计算装置在训练所述一个机器学习模型的过程中，训练轮数达到所述其他机器学习模型所对应的训练轮数时所得到的所述一个机器学习模型的参数，作为所述其他机器学习模型的参数。

7.如权利要求2所述的分布式系统，其中，

每个计算装置被配置为：设置所述多个机器学习任务所使用的网络配置；

和/或，参数服务器被配置为：设置针对所述多个机器学习任务的网络配置。

8.如权利要求7所述的分布式系统，其中，每个计算装置被配置为：针对所述多个机器学习任务使用零拷贝技术进行网络传输；和/或，针对所述多个机器学习任务设置网络传输中最大传输单元的大小；

和/或，参数服务器被配置为：针对所述多个机器学习任务使用零拷贝技术进行网络传输；和/或，针对所述多个机器学习任务设置网络传输中最大传输单元的大小。

9.如权利要求2所述的分布式系统，其中，

每个计算装置被配置为：配置所述多个机器学习任务所使用的内存；

和/或，参数服务器被配置为：配置针对所述多个机器学习任务的内存。