[发明专利]用于预测机器学习系统的适合于训练数据记录的配置的方法、设备和计算机程序

说明书

用于预测机器学习系统的适合于训练数据记录的配置的方法、设备和计算机程序。本发明涉及用于预测机器学习系统的适合于第一训练数据记录的配置的方法。该方法开始于使多个机器学习系统有关第一训练数据记录进行学习，其中机器学习系统和/或所使用的学习方法不一样地被配置。然后创建第二训练数据记录D，其包括经过学习的机器学习系统的所确定的工作能力以及相应的机器学习系统和/或学习方法的分别被分配的配置。然后，根据第二训练数据记录D来使图同构网络进行学习，并且借助于GIN来分别预测多个、尤其是未被用于学习的配置的性能。本发明还涉及用于实施该方法的计算机程序和设备以及在其上存储有该计算机程序的机器可读存储元件。

技术领域

本发明涉及一种用于借助于图形神经网络来预测机器学习系统和/或学习方法的适合于训练数据记录的配置的方法。本发明同样涉及分别被设立为实施该方法的设备和计算机程序。

背景技术

未在先公开的DE 10 2019 207 911.3公开了一种用于预测机器学习系统的迭代学习方法的学习曲线的方法。

本发明的优点

在机器学习系统进行真正的学习之前，必须选择机器学习系统的适合的配置、在理想情况下最佳配置，使得机器学习系统不仅有关训练数据而且有关测试或验证数据都实现尽可能好的性能。然而，事先找出这样适合的配置的花费极高，因为搜索空间（英文search space）为此可能提供极多的、不同的组合（多达10²³个），这些组合无法在可预见的时间内借助于标准优化方法、尤其是基于搜索空间的离散特性的标准优化方法被找到。

本发明的目的在于：以小花费找出最佳配置，接着，基于该最佳配置可以使机器学习系统初始化并且进行学习。这具有如下优点：借此所找出并经过学习的机器学习系统（所述机器学习系统例如接着可以被用作分类器）可以特别好地有关训练数据被适配并且最终性能特别卓越。

利用所提出的方法，首次可行的是：能够运用是所有到目前为止所使用的搜索空间的至少10¹⁸倍大的搜索空间。借此，也首次可行的是：运用联合搜索空间，该联合搜索空间不仅包含所有架构参数而且也包含所有超参数（英文joint architectur andhyperparamter space（联合架构和超参数空间））。由此可能得是，找出还更优越的配置，因为所提到的两种参数类型可能彼此相关。

发明内容

在本发明的第一方面中，提出了一种用于预测机器学习系统的适合于第一训练数据记录的配置的方法。配置可以被理解为机器学习系统的架构参数和/或机器学习系统的学习方法的超参数。架构参数是表征机器学习系统的构造或结构的参数，例如层的数目。超参数是表征用于使机器学习系统进行学习的学习方法、尤其是优化方法的参数。超参数例如可以是学习率。机器学习系统可以是人工神经网络。替选地，机器学习系统可以是人工神经网络的DARTS单元模型。

适合的配置可以被理解为：利用该配置来被配置的机器学习系统可以尽可能全面地并且优选地在尽可能简单的架构情况下表现训练数据记录中的信息；和/或利用该配置的学习方法具有对于训练数据记录来说良好的收敛特性。

所提出的方法包括如下步骤，这些步骤在可编程数据处理设备、如计算机上被实施。该方法开始于使多个机器学习系统有关第一训练数据记录进行学习，其中机器学习系统和/或所使用的学习方法不一样地被配置。应注意：该学习可以是完整学习，其中使机器学习系统一直学习，直至满足收敛标准为止，例如，学习曲线的斜率不再大于阈值或者性能或精度不再被改善。但是，也可设想的是：只要学习曲线的斜率大于阈值，就只是部分地进行学习。

在下文，训练数据记录被理解为如下数据记录，该数据记录包括训练输入参量和分别被分配的标签，其中这些标签表征它们的分别被分配的训练输入参量。第一训练数据记录的训练输入参量可以是任意的传感器数据，优选地是图像。第二训练数据记录的训练输入参量是配置。