[发明专利]信息处理程序、信息处理方法和信息处理设备

说明书

本公开内容涉及信息处理程序、信息处理方法和信息处理设备。一种存储信息处理程序的非暂态计算机可读存储介质，该信息处理程序使至少一个计算机执行处理，该处理包括：获取指示针对包括在机器学习模型中的多个层中的输入端层的训练的进度状态的值；以及当该值大于或等于阈值时，重复获取针对该输入端层之后的多个层的每个值。

技术领域

本文中讨论的实施方式涉及信息处理程序、信息处理方法和信息处理设备。

背景技术

正在研究针对机器学习模型的各种训练方法。例如，存在使机器学习模型的训练已经进行到一定程度的层的权重信息停止更新的技术。在以下描述中，该技术将被称为“现有技术”。此外，停止目标权重信息的更新被称为“跳过”。

图9和图10是用于描述现有技术的图。将描述图9。在现有的机器学习模型中，层数约为160，但是在图9中，为了便于描述，将使用层1-0、1-1、1-2、1-3、1-4、1-5和1-6来给出描述。输入端层为层1-0，并且输出端层为层1-6。

在现有技术中，在从针对机器学习模型的训练的开始至训练进行到一定程度之前的阶段中，针对所有层1-0至1-6执行“前向传播”和“后向传播”，并且更新针对所有层1-0至1-6的权重信息。

在现有技术中，在机器学习模型的训练已经进行到一定程度的阶段中，从输入端层开始按顺序跳过针对训练已经进行的层的权重信息的更新。如果从输出端层开始跳过更新，则训练精度没有达到目标精度，但是从输入端层开始跳过更新，可以提高训练精度。在图9所示的示例中，针对层1-0、1-1、1-2的权重信息的更新被停止。

假设前向传播的总处理量为“1”，后向传播的处理量为“2”。例如，在完全不执行后向传播的状态下，处理速度将为三倍，这是加速的极限。

将描述图10。针对机器学习模型的学习是以时期为单位来执行的。例如，一个时期包括770次迭代。针对机器学习模型执行一次“前向传播”和“后向传播”并且更新权重信息的处理对应于一次迭代。

图10中的图G1和图G2示出了每个层与处于不同阶段的迭代中的权重差之间的关系。图G1示出了在已经执行了第一次迭代的情况下每个层的权重差。图G2示出了在第一次之后已经执行了数百次迭代的情况下每个层的权重差。图G1和图G2的竖直轴是与权重差对应的轴，并且水平轴是与层对应的轴。

权重差指示已经执行了第(n-1)次迭代的情况下的权重信息与已经执行了第n次迭代的情况下的权重信息之间的差。具有大的权重差的层指示该层已经被训练。具有小于阈值的权重差的层指示该层尚未被训练。

在图G1所示的示例中，权重差在所有层(例如第0层至第158层)中都等于或大于阈值Th，并且所有层都已经被训练。在图G2所示的示例中，输入端层Ls 1-1的权重差小于阈值并且尚未被训练。另一方面，输出端层Ls 1-2的权重差等于或大于阈值并且已经被训练。

在现有技术中，通过跳过更新输入端层Ls 1-1的权重信息的处理来减少用于计算误差梯度的计算量和通信量。例如，如图G2'所示，正常的1次迭代所需的处理量2-1变为处理量2-2，并且处理量2-3减少。换言之，每个时期的减少效果也是处理量2-3。注意，如以下将描述的，为了指定机器学习模型的每个层中的训练进度，计算每个层的权重的范数。

美国专利申请公开第2020/0380365号和美国专利申请公开第2020/0285992号被公开作为相关技术。

发明内容

[技术问题]

然而，上述现有技术具有计算成本高的问题。

在现有技术中，计算每个层的权重的范数，以便指定机器学习模型的每个层的训练进度。同时，在无论针对机器学习模型的训练进度如何都更新所有层的权重信息的情况下，不需要对每个层的权重进行范数计算。