[发明专利]非暂态计算机可读记录介质、学习方法和信息处理设备

说明书

提供了非暂态计算机可读记录介质、学习方法和信息处理设备。处理包括开始用于构建包括多个层的模型的学习处理，所述多个层中的每个层均包括参数。学习处理执行迭代，每个迭代包括使用训练数据计算模型的输出误差以及基于该输出误差更新参数值。该处理还包括基于学习处理的第一迭代的结果，选择两个或更多个候选层，所述两个或更多个候选层表示更新要被抑制的层的候选。该处理还包括基于直至第一迭代为止所执行的迭代的次数计算在所执行的迭代的次数较大时变得较大的比率值，以及在候选层之中确定更新要在第一迭代之后的第二迭代处被抑制的一个或更多个层。所述一个或更多个层的数量是根据比率值而确定的。

技术领域

本文中论述的实施方式涉及学习方法和信息处理设备。

背景技术

有时采用机器学习作为使用信息处理设备的数据分析技术。在机器学习中，收集指示一些已知实例的训练数据。信息处理设备分析训练数据，从而构建归纳原因(有时称为一个或多个说明变量或自变量)与效果(有时称为目标变量或因变量)之间的关系的模型。信息处理设备使用所构建的模型来预测未知实例的结果。例如，构建用于确定在图像中捕获的对象的类别的图像识别模型。

信息处理设备可以生成包括多个层的模型。例如，机器学习可以是用于生成多层神经网络的深度学习。此时，信息处理设备运行迭代以搜索每个层中所包括的参数的最优值。在每次迭代中，信息处理设备可以通过使用训练数据来评估模型的输出中的误差并基于该误差来更新参数值。例如，误差反向传播(或简称为反向传播)被用于参数优化。

提出了一种用于自动消除来自机器学习的训练数据中所包括的多个说明变量中的一些说明变量的特征过滤方法。根据所提出的特征过滤，基于在先前迭代中计算的梯度来确定每个说明变量的值的过滤阈值。还提出了一种用于在生成多层神经网络的机器学习中自动删除一些层的学习设备。所提出的学习设备针对多个层中的每个层计算对多层神经网络的输出的贡献度，并且在删除贡献度低的层之后再次执行机器学习。

国际公开小册子第WO 2017/157183号；以及

日本公开特许公报第2019-185275号。

在用于构建包括多个层的模型的机器学习中，参数改进并不总是在所有层上均匀地进行。随着迭代次数的增加，一些层可以在其它层之前达到参数改进的收敛。例如，在多层神经网络中，与更靠近输出层的层相比，在更靠近输入层的层中，参数改进收敛可以发生得更快。

鉴于以上情况，可以认为采用基于最新迭代的执行结果抑制在随后迭代中的一些层中的参数更新的控制方法是合理的。然而，增量参数改进并不总是随着迭代次数的增加而单调地减小，并且它可能在短期内波动。出于这个原因，在最新迭代的执行结果满足收敛条件的所有层中立即抑制参数更新可能降低要建立的模型的准确度。

发明内容

实施方式的一个方面是在机器学习期间停止对模型中包括的一些层的参数更新的情况下减少准确度损失。

根据一个方面，提供一种非暂态计算机可读记录介质，在该非暂态计算机可读记录介质中存储有使计算机执行处理的计算机程序，该处理包括：开始用于构建包括多个层的模型的学习处理，多个层中的每个层均包括参数，该学习处理执行迭代，迭代中的每个迭代包括使用训练数据来计算模型的输出误差以及基于该输出误差更新多个层中的每个层的参数的值；基于学习处理的第一迭代的执行结果，在多个层之中选择两个或更多个候选层，所述两个或更多个候选层表示下述层的候选，在所述层中的每个层中对参数的值的更新要被抑制；以及基于直至第一迭代为止所执行的迭代的次数来计算随所执行的迭代的次数的增加而增加的比率值并且在两个或更多个候选层之中确定一个或更多个层，在一个或更多个层中的每个层中，对参数的值的更新要在第一迭代之后的第二迭代被抑制，一个或更多个层的数量是根据比率值而确定的。

附图说明

图1示出了根据第一实施方式的信息处理器；

图2是示出根据第二实施方式的信息处理器的示例性硬件的框图；