[发明专利]用于机器学习架构中的分层训练的方法、设备和介质

说明书

一种用于机器学习架构的分层训练的计算机实现的方法，包括：接收多个数据元素，其中每个数据元素与时间戳相关联；确定用于分层的模型层栈的每个模型层的训练窗口；通过识别具有与每个训练窗口相对应的时间戳的数据元素，来确定用于每个训练窗口的多个训练数据元素；识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用所确定的用于每个模型层的训练数据元素和所识别的用于每个模型层的在前检查点来训练每个模型层；生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。

技术领域

本说明书涉及机器学习，以及更具体地涉及用于在机器学习架构中使用分层训练的方法和系统。

背景技术

在线机器学习的已知方法接收流送数据来训练模型以符合流送数据。此外，机器学习的其他已知方法接收批量数据来训练模型以符合接收的批量数据。至少一些已知系统基于与之相关联的时间来区分流送数据。因此，当流送数据晚到达时，可能在缺少该数据的情况下已训练了模型。因此，在至少一些已知系统中，流送数据到达的延迟要求重构、重新校准或重新学习模型。这样的延迟可以进一步导致不稳定性，因为晚到达的数据可能导致模型的重大调整。在至少一些已知系统中，在训练前，系统等待所有晚到达的数据可能低效或不实际。

发明内容

在一个方面中，提供了一种用于机器学习架构的分层训练的计算机实现方法。该方法由耦接到存储器的训练计算设备实现。该方法包括接收多个数据元素，其中每个数据元素与时间戳相关联；确定用于分层模型层栈的每个模型层的训练窗口；通过利用于每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素；如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层；生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。

在另一个方面中，提供了一种用于机器学习架构的分层训练的训练计算设备。该训练计算设备包括用于存储数据的存储器，以及与存储器通信的处理器。处理器被配置为接收多个数据元素，其中每个数据元素与时间戳相关联；确定用于分层模型层栈的每个模型层的训练窗口；通过利用与每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素；如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层；生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。

在另一方面，提供了一种用于机器学习架构的分层训练的计算机可读存储介质，在其上实现有处理器可执行指令，当被计算设备执行时，处理器可执行指令使计算设备接收多个数据元素，其中，每个数据元素与时间戳相关联；确定用于分层模型层栈的每个模型层的训练窗口；通过利用与每个训练窗口相对应的时间戳来识别数据元素，确定用于每个训练窗口的多个训练数据元素；如果用于每个模型层的在前检查点存在，识别用于每个模型层的在前检查点，其中由父模型层生成用于每个模型层的在前检查点；利用确定的用于每个模型层的训练数据元素，以及如果有的话，利用识别的用于每个模型层的在前检查点，训练每个模型层；生成多个当前检查点，其中多个当前检查点中的每个当前检查点与模型层相关联，以及将多个当前检查点存储在存储器处。