[发明专利]学习装置、学习方法及学习程序

说明书

学习装置(10)取得与处理对象有关的时间序列数据。之后，学习装置(10)将取得的时间序列数据用作学习用数据集，对包含由多个层构成的神经网络的第一模型，进行通过求解第一任务而更新第一模型的参数的学习处理。接着，学习装置(10)使用学习用数据集，对包含将进行了学习处理的第一模型的参数作为初始值的神经网络在内的第二模型，进行通过求解与第一任务不同的第二任务而更新第二模型的参数的学习处理。

技术领域

本发明涉及一种学习装置、学习方法及学习程序。

背景技术

以往，为了进行神经网络的学习，需要对各层预先设定权重的初始值，初始权重被初始化为随机数的情况较多。根据所设定的权重的初始值，神经网络的学习结果也较大地变化等的初始值依赖性较高，需要进行适当的权重的初始化，存在各种各样的权重初始化的方法。获得良好的初始值，对于提高精度、稳定学习、快速收敛学习损失、抑制过度学习等获得良好的学习结果都很重要。

尤其是，关于由图像领域中当前取得最显著的成功的卷积神经网络(Convolutional Neural Network，以下简称为CNN)构成的网络，一般采取将事先进行使用了大规模的学习数据的监督学习而得到的已学习的参数作为权重的初始值来学习作为对象的任务的被称为微调(Fine-tuning)的权重初始值的方法(approach)。

公知的是从使用ImangeNet这样的具有良好质量的大规模数据集来学习的CNN的中间层得到的特征具有非常高的通用性，并且能够转用于物体识别/图像转换/图像检索这样的各种各样的任务。

由此，目前的现状是在图像领域中，建立了微调(Fine-tuning)作为基本技术，各种已学习模型在开源中被共享。但是，上述的微调这样的转移学习方法被限定于图像领域，在自然语言处理、声音识别这样的其他领域中并不限于此。

此外，与神经网络面向时间序列数据的应用有关的研究处于发展阶段，研究事例本身较少。尤其是，面向时间序列数据的转移学习方法尚未建立，一般来说，网络的权重初始化利用基于随机数的初始化。

现有技术文献

非专利文献

非专利文献1：“Transfer learning for time series classification”、[online]、[2019年9月6日检索]、互联网＜https://arxiv.org/pdf/1811.01533.pdf＞

发明内容

发明要解决的问题

然而，在现有的方法中，存在针对与时间序列数据有关的模型，有时不能迅速且高精度地进行学习的课题。例如，在图像领域中一般进行的微调、转移学习在时间序列解析的领域中几乎不被使用。原因在于，时间序列数据按照数据，域(对象、数据收集过程、平均/分散/数据的特性、生成过程)不同等，难以进行单纯的微调。此外，不存在如图像领域的ImageNet这样的通用且大规模的数据集也是一个原因。

因此，一般来说，在将时间序列数据作为输入的模型的学习中不使用微调、转移学习，而使用随机的值作为模型的权重初始值，因此具有精度较低、学习速度较慢等的问题。

用于解决问题的手段

为了解决上述的课题，达成目的，本发明的学习装置，其特征在于，学习装置具有：取得部，其取得与处理对象有关的时间序列数据；第一学习部，其将由所述取得部取得的时间序列数据用作学习用数据集，对包含由多个层构成的神经网络的第一模型进行通过求解第一任务而更新所述第一模型的参数的学习处理；以及第二学习部，其使用所述学习用数据集，对第二模型进行通过求解与第一任务不同的第二任务而更新所述第二模型的参数的学习处理，所述第二模型包含将由所述第一学习部进行了学习处理后的第一模型的参数作为初始值的神经网络。