[发明专利]数据处理系统和数据处理方法

说明书

数据处理系统(100)具有：神经网络处理部(130)，其执行按照包含输入层、1个以上的中间层以及输出层在内的神经网络的处理；以及学习部(140)，其基于通过神经网络处理部(130)对学习数据执行按照神经网络的处理而输出的输出数据与相对于该学习数据的理想的输出数据的比较，使神经网络的最优化对象参数最优化，由此使神经网络进行学习。神经网络处理部(130)在学习中，执行对中间数据乘以绝对值根据学习的进展度而单调增加的系数的系数处理，该中间数据表示向构成第M层(M为1以上的整数)中间层的中间层要素输入的输入数据或来自该中间层要素的输出数据。

技术领域

本发明涉及数据处理技术，尤其涉及使用学习到的深度神经网络的数据处理技术。

背景技术

神经网络是包含1个以上的非线性单元的数学模型，并且是预测与输入对应的输出的机器学习模型。许多神经网络除了输入层和输出层之外还具有1个以上的中间层(隐藏层)。各中间层的输出成为下一层(中间层或输出层)的输入。神经网络的各层根据输入和自身的参数而生成输出。

现有技术文献

非专利文献

非专利文献1：Alex Krizhevsky、Ilya Sutskever、Geoffrey E.Hinton、“ImageNet Classification with Deep Convolutional Neural Networks”、NIP S2012_4824

非专利文献2：Sergey Ioffe、Christian Szegedy、“Batch normalization：Accelerating deep network training by reducing internal covariate shift”、ICML2015 448？456

发明内容

发明要解决的课题

通常，当整个网络的输入输出的关系大幅变化时，学习变得困难。在非专利文献2中，利用输入小批量的统计量将向下一层的输入归一化，从而抑制输入输出的关系大幅变化，由此解决学习的困难。然而，过度的归一化会导致网络的表现力降低。另一方面，整个网络的输入输出的关系大幅变化的问题在中间层的参数的更新量较大的学习初期变得显著。

本发明是鉴于这样的情况而完成的，其目的在于，提供使神经网络的学习变得容易的技术。

用于解决课题的手段

为了解决上述课题，本发明的某一方式的数据处理系统具有：神经网络处理部，其执行按照包含输入层、1个以上的中间层以及输出层在内的神经网络的处理；以及学习部，其基于通过神经网络处理部对学习数据执行处理而输出的输出数据与针对学习数据的理想的输出数据的比较，使神经网络的最优化对象参数最优化，由此使神经网络进行学习。神经网络处理部在学习中，执行对中间数据乘以绝对值根据学习的进展度而单调增加的系数的系数处理，该中间数据表示向构成第M层(M为1以上的整数)中间层的中间层要素输入的输入数据或来自该中间层要素的输出数据。

另外，本发明的另一方式也是数据处理系统。该数据处理系统具有神经网络处理部，该神经网络处理部执行按照包含输入层、1个以上的中间层以及输出层在内的神经网络的处理。神经网络处理部基于通过对学习数据执行处理而输出的输出数据与针对学习数据的理想的输出数据的比较，使最优化对象参数最优化，由此进行了学习，神经网络处理部在学习中，执行对中间数据乘以绝对值根据学习的进展度而单调增加的系数的系数处理，该中间数据表示向构成第M层(M为1以上的整数)中间层的中间层要素输入的输入数据或来自该中间层要素的输出数据。