[发明专利]运算处理设备、控制方法以及计算机可读记录介质

说明书

提供了运算处理设备、控制方法和计算机可读记录介质。运算处理设备，包括：存储器(15)，其当在多次迭代中重复执行给定机器学习模型的训练时存储在多次迭代中的每次迭代中获得的多个定点数数据中的每个定点数数据的小数点位置的误差，误差是基于与正数的最左置位位置和负数的最左未置位位置的分布或多个定点数数据的最右置位位置的分布相关的统计信息获得的；以及确定器(14)，其基于多次迭代中的每个迭代的误差的趋势确定用于在校正训练中使用的定点数数据的小数点位置的偏移量。

技术领域

本文讨论的实施方式涉及运算处理设备、控制方法以及其中存储有控制程序的计算机可读记录介质。

背景技术

在运算处理设备中，已知一种用于基于关于在执行针对定点数数据的指令之后的数据中的位的分布的统计信息来调整定点数数据的小数点位置的方法。该方法使得例如可以借助定点数高准确度地执行与深度学习相关的计算处理，从而减小电路规模和功耗。

引用列表

专利文献

[专利文献1]日本公开特许公报第07-84975号

[专利文献2]日本公开特许公报第07-134600号

[专利文献3]日本公开特许公报第2018-124681号

发明内容

本发明要解决的问题

当使运算处理设备学习机器学习模型例如神经网络的参数时，在基于学习的统计信息估计的小数点位置与参数和输出数据的实际分布之间可能会产生间隙。

如果产生这样的间隙，则与间隙小的情况相比，基于统计信息的小数点位置的更新可能由于定点的饱和或舍入而增加量化误差，并且学习变得不稳定，换句话说，学习结果的准确性可能降低。

本发明的目的之一是抑制机器学习模型的学习结果的准确性的降低。

解决问题的手段

根据实施方式的一方面，一种运算处理设备包括：存储器，其当在多次迭代中重复执行给定机器学习模型的训练时存储在多次迭代中的每次迭代中获得的多个定点数数据中的每个定点数数据的小数点位置的误差，误差是基于与正数的最左置位位置和负数的最左未置位位置的分布或多个定点数数据的最右置位位置的分布相关的统计信息获得的；以及确定器，其基于多次迭代中的每个迭代的误差的趋势确定用于在校正训练中使用的定点数数据的小数点位置的偏移量。

有益效果

在一方面，可以抑制机器学习模型的学习结果的准确性的降低。

附图说明

图1是示意性地示出根据第一实施方式的学习设备的功能配置的示例的框图；

图2是示出存储在数据存储单元中的数据的示例的图；

图3是示出在卷积神经网络(CNN)上的深度学习的示例的图；

图4是示出CNN的各层中的学习计算的示例的图；

图5是示出参数存储单元所存储的更新信息的示例的图；

图6是示出在CNN的各层中的变量的数据表示的示例的图；

图7是示出由根据比较示例的学习设备进行的处理的图；

图8是示出表示正数的最左置位位置和负数的最左未置位位置的分布的直方图的示例的图；

图9是示出小数点位置的更新处理的示例的图；

图10是示出小数点位置的更新处理的示例的图；