[发明专利]动态神经网络模型训练方法和装置

说明书

技术领域

本发明涉及大数据分析处理领域，尤其涉及一种用于一维数据分类的动态神经网络模型的训练方法和装置。

背景技术

随着大数据时代的到来，文本、语音、图像、视频等数据每日均在大量生成，即使一个小的行业甚至一个企业，每天都在生成大量数据。如何对数据进行分析、处理，从中挖掘、发现事物内在的联系及规律，具有十分重要的现实意义。然而，由于生成的数据量过于庞大，分析与处理难度颇大，该问题具有不小的难度与挑战。在大数据处理过程中，当前主要的研究方法为通过机器学习及深度学习，对研究对象的相关特征进行提取，建立若干规则进行索引或映射，用以实现相关研究对象的辨识或分类。其中，研究效果的好坏很大程度上依赖于信息特征提取的质量，因此，特征提取是数据挖掘及数据处理中一个十分重要的环节。

目前特征提取的方法有核技巧法、分割法、降维法、以及神经网络及其变体等。其中，神经网络是当前数据特征提取的一个非常重要的方法，其研究思想为将神经元逐层建模为静态神经元，然后通过一个sigmoid函数来实现特征提取。神经网络的变体——卷积神经网络，主要思想为通过卷积层与池化层的交替作用，逐层实现图像、视频等数据的特征提取，针对最后一层提取到的特征，通过一个全连接层来实现目标对象的分类与辨识。在该模型中，卷积层与池化层的设计是其最重要的一个环节。然而，神经网络及其各种变体均为将神经元建模为静态神经元来展开相关研究，即y＝Wx+b，其中x为神经元输入，y为神经元输出，W为连接输入与输出之间的权重系数，b为截距项。静态神经元仅能刻画输入与输出之间的关系，无法刻画系统输入内部之间的关系。

如何更加高效地提取数据特征，从而提高神经网络模型的训练效率，是目前需要本领域技术人员迫切解决的一个技术问题。

发明内容

为了解决上述问题，本发明针对语音数据等一维数据，提供了一种动态神经网络模型的训练方法，与人工神经网络相比，该方法将单个神经元建模为动态神经元，同时同一层上的神经元具有相同的类型，用于最大限度实现权值共享，降低模型的设计难度，大大减少现有模型的训练强度，提高学习效率。

为了实现上述目的，本发明采用如下技术方案：

一种动态神经网络模型的训练方法，包括以下步骤：

步骤一：将原始一维数据输入到第一层神经元，相应的输出值即该层特征；

步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；

步骤三：在最终的输出特征与分类的类别之间建立全连接层，通过BP反向传播算法确定全连接层间的连接系数；

步骤四：评价模型性能，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；

其中，所述神经元被建模为动态神经元；所述动态神经元的结构为：其中A^(l)，B^(l)，C^(l)分别为n^l×n^l阶、n^l×m^l阶、n^l×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵，C^(l)T表示矩阵C^(l)的转置；x^(l)，u^(l)分别为n^l×1、m^l×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，m^l、n^l的值与所在的层相关。

所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与下层相邻的若干神经元有连接。

所述神经元对输入数据进行的处理如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换y⁽¹⁾＝C^(1)Tx⁽¹⁾，即提取到该层特征y⁽¹⁾，其中矩阵A⁽¹⁾为该层状态矩阵，满足其特征根具有负实部，矩阵B⁽¹⁾为该层的拓扑连接，其连接方式为稀疏连接。

所述步骤四还包括：若层数达到某一阈值时模型性能还未达到预期，停止增加新的神经元层，对各层神经元结构矩阵进行调整，将调整结果中性能最好的作为最终的模型。