[发明专利]数据处理装置、数据处理系统和数据处理方法

说明书

数据处理装置具有：数据处理部(10)，其学习神经网络；以及编码部(11)，其生成对识别神经网络的模型的模型标题信息、识别神经网络的层的层标题信息和层单位的边的权重信息进行编码而成的编码数据。

技术领域

本发明涉及生成对与神经网络的结构有关的信息进行编码而成的编码数据的数据处理装置、数据处理系统和数据处理方法。

背景技术

作为解决输入数据的分类(识别)问题和回归问题的方法，存在机器学习。在机器学习中，存在对脑的神经回路(神经元)进行模拟的神经网络这样的方法。在神经网络(以下记作NN)中，通过由神经元相互结合而成的网络表现的概率模型(识别模型、生成模型)进行输入数据的分类(识别)或回归。

此外，NN通过使用大量数据的学习对NN的参数进行优化，由此能够实现高性能化。但是，近年来的NN大规模化，NN的数据大小存在大容量化的倾向，使用NN的计算机的计算负荷也增加。

例如，在非专利文献1中记载有对表示NN的结构的信息即边的权重进行标量量化后进行编码的技术。通过对边的权重进行标量量化后进行编码，与边有关的数据的数据大小被压缩。

现有技术文献

非专利文献

非专利文献1：Vincent Vanhoucke,Andrew Senior,Mark Z.Mao,“Improving thespeed of neural networks on CPUs”,Proc.Deep Learning and Unsupervised FeatureLearning NIPS Workshop,2011.

发明内容

发明要解决的课题

在经由数据传输网络使大量客户端与服务器连接的系统中，在大量客户端分别使用由服务器学习到的NN进行数据处理的情况下，NN的模型、参数的数据大小和表示适当性能的值根据各个客户端的处理性能、存储容量和与服务器之间的数据传输网络的传输频带而不同。因此，即使使用非专利文献1记载的技术对NN的模型和参数进行编码，也需要压缩成分别适合于大量客户端的数据大小，存在编码的处理负荷变高这样的课题。此外，当客户端的数量庞大时，即使向各个客户端传输的数据被压缩，也存在向全部客户端传输的数据大小庞大这样的课题。

本发明用于解决上述课题，其目的在于，得到降低对与NN有关的信息进行编码的处理负荷且能够削减传输的数据大小的数据处理装置、数据处理系统和数据处理方法。

用于解决课题的手段

本发明的数据处理装置具有：数据处理部，其学习NN；以及编码部，其生成对识别NN的模型的模型标题信息、识别NN的层的层标题信息和层单位的边的权重信息进行编码而成的编码数据。

发明效果

根据本发明，编码部生成对识别NN的模型的模型标题信息、识别NN的层的层标题信息和层单位的边的权重信息进行编码而成的编码数据。编码部能够对与NN中解码侧所需要的层有关的信息进行编码，因此，能够降低对与NN有关的信息进行编码的处理负荷且削减传输的数据大小。

附图说明

图1是示出实施方式1的数据处理系统的结构的框图。

图2是示出NN的结构例的图。

图3是示出实施方式1的数据处理装置(编码器)的结构的框图。

图4是示出实施方式1的数据处理装置(解码器)的结构的框图。

图5是示出实施方式1的数据处理装置(编码器)的动作的流程图。

图6是示出实施方式1的数据处理装置(解码器)的动作的流程图。

图7是示出实施方式1中的编码数据的例子的图。