[发明专利]一种机器学习系统、一种机器学习参数服务器及实现方法

权利要求书

1.一种机器学习参数服务器的实现方法，包括：

接收工作节点发送的数据查询请求；

在第一层存储中查询与所述数据查询请求对应的数据；

若查询成功，则将查询出的数据返回给所述工作节点；

若查询失败，则在第二层存储中查询与所述数据查询请求对应的数据，将查询出的数据保存在所述第一层存储中，以及将查询出的数据返回给所述工作节点。

2.如权利要求1所述的方法，其中，该方法还包括：

预先将与高频特征对应的模型参数保存至第一层存储中，或者，将全部模型参数保存至第一层存储中；

其中，所述高频特征是根据对训练数据中各维度特征出现的次数进行统计确定的。

3.如权利要求1所述的方法，其中，该方法还包括：通过HazelCast实现基于内存的第一层存储服务，通过Kudu实现基于磁盘的第二层存储服务；

所述在第二层存储中查询与所述数据查询请求对应的数据包括：通过HazelCast的load接口调用Kudu的scan接口，查询与所述数据查询请求对应的数据。

4.如权利要求1所述的方法，其中，该方法还包括：

根据工作节点上传的数据对第一层存储进行更新；

周期性地生成持久化存储请求，将相应周期内第一层存储中变化的值更新至第二层存储中。

5.一种机器学习参数服务器，包括：

通信单元，适于接收工作节点发送的数据查询请求；

数据处理单元，适于在第一层存储中查询与所述数据查询请求对应的数据；若查询成功，则将查询出的数据返回给所述工作节点；若查询失败，则在第二层存储中查询与所述数据查询请求对应的数据，将查询出的数据保存在所述第一层存储中；

所述通信单元，还适于以及将查询出的数据返回给所述工作节点。

6.如权利要求5所述的服务器，其中，

所述数据处理单元，适于预先将与高频特征对应的模型参数保存至第一层存储中，或者，将全部模型参数保存至第一层存储中；其中，所述高频特征是根据对训练数据中各维度特征出现的次数进行统计确定的。

7.如权利要求5所述的服务器，其中，

所述数据处理单元，适于通过HazelCast实现基于内存的第一层存储服务，通过Kudu实现基于磁盘的第二层存储服务；通过HazelCast的load接口调用Kudu的scan接口，查询与所述数据查询请求对应的数据。

8.一种机器学习系统，包括如权利要求5至7中任一项所述的机器学习参数服务器、多个以分布式计算实现模型训练的工作节点和用于存储训练数据的分布式存储系统。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-4中任一项所述的方法。