[发明专利]用于机器学习架构中的分层训练的方法、设备和介质

权利要求书

1.一种用于机器学习架构的分层训练的计算机实现的方法，所述方法由包括耦接到存储器的处理器的训练计算设备来实现，所述方法包括：

由所述训练计算设备的接收组件接收多个数据元素，其中每个数据元素与时间戳相关联；

由所述训练计算设备的第一确定组件确定用于分层的模型层栈的每个模型层的训练窗口；

由所述训练计算设备的第二确定组件通过识别具有与每个训练窗口相对应的时间戳的所述数据元素，来确定用于每个训练窗口的多个训练数据元素；

由所述训练计算设备的识别组件识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；

由所述训练计算设备的训练组件利用所确定的用于每个模型层的训练数据元素和所识别的用于每个模型层的在前检查点，训练每个模型层；

由所述训练计算设备的生成组件生成多个当前检查点，其中所述多个当前检查点中的每个当前检查点与模型层相关联；

由所述训练计算设备的存储组件将所述多个当前检查点存储在所述存储器处；以及

由所述训练计算设备使外部服务器和与至少一个模型层相关联的至少一个当前检查点同步。

2.一种用于机器学习架构的分层训练的计算机实现的方法，所述方法由包括耦接到存储器的处理器的训练计算设备来实现，所述方法包括：

由所述训练计算设备的接收组件接收多个数据元素，其中每个数据元素与时间戳相关联；

由所述训练计算设备的第一确定组件确定用于分层的模型层栈的每个模型层的训练窗口；

由所述训练计算设备的第二确定组件通过识别具有与每个训练窗口相对应的时间戳的所述数据元素，来确定用于每个训练窗口的多个训练数据元素；

由所述训练计算设备的识别组件识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；

由所述训练计算设备的训练组件利用所确定的用于每个模型层的训练数据元素和所识别的用于每个模型层的在前检查点，训练每个模型层；

由所述训练计算设备的生成组件生成多个当前检查点，其中所述多个当前检查点中的每个当前检查点与模型层相关联；以及

由所述训练计算设备的存储组件将所述多个当前检查点存储在所述存储器处，其中，存储所述多个当前检查点进一步包括：

相对于所述多个数据元素，验证所述多个当前检查点中的每个检查点；以及

将所述多个当前检查点中经验证的检查点存储在所述存储器处。

3.如权利要求1或2所述的方法，其中，训练每个模型层进一步包括：

通过应用至少一个机器学习算法，使每个模型层适应对每个模型层确定的训练数据元素。

4.如权利要求1或2所述的方法，其中，确定用于每个模型层的训练窗口进一步包括：

确定每个模型层的层深；

检索训练模型配置，其中所述训练模型配置指定与每个层深相关联的训练延迟记录；

基于所述训练模型配置来识别与每个模型层的层深相关联的训练延迟；以及

基于用于每个模型层的训练延迟来计算训练窗口。

5.如权利要求1所述的方法，其中所述外部服务器至少部分地基于同步的当前检查点来服务。

6.如权利要求1或2所述的方法，其中，生成多个当前检查点进一步包括：

确定用于每个模型层的层深；

检索训练模型配置，其中所述训练模型配置指定与每个层深相关联的训练持续时间；

基于所述训练模型配置来识别与每个模型层的层深相关联的训练持续时间；

在所识别的训练持续时间内训练所述模型层；以及

将每个模型层处理为当前检查点。

7.如权利要求1或2所述的方法，其中，生成多个当前检查点进一步包括：

清除用于每个模型层的在前检查点；以及

重新训练每个模型层。

8.如权利要求1或2所述的方法，其中，接收多个数据元素进一步包括：

接收多个转化数据，其中所述转化数据表示与派发在线广告相关联的转化活动。