[发明专利]动态神经网络模型训练方法和装置

权利要求书

1.一种动态神经网络模型的训练方法，其特征是，包括以下步骤：

步骤一：将原始一维数据输入到第一层神经元，相应的输出值即该层特征；

步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；

步骤三：在最终的输出特征与分类的类别之间建立全连接层，通过BP反向传播算法确定全连接层间的连接系数；

步骤四：评价模型性能，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；

其中，所述神经元被建模为动态神经元；所述动态神经元的结构为：其中A^(l)，B^(l)，C^(l)分别为n^l×n^l阶、n^l×m^l阶、n^l×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵，C^(l)T表示矩阵C^(l)的转置；x^(l)，u^(l)分别为n^l×1、m^l×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，m^l、n^l的值与所在的层相关。

2.如权利要求1所述的动态神经网络的训练方法,其特征是，所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与下层相邻的若干神经元有连接。

3.如权利要求1所述的动态神经网络模型的训练方法,其特征是，所述神经元对输入数据进行的处理如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换y⁽¹⁾＝C^(1)Tx⁽¹⁾，即提取到该层特征y⁽¹⁾，其中矩阵A⁽¹⁾为该层状态矩阵，满足其特征根具有负实部，矩阵B⁽¹⁾为该层的拓扑连接，其连接方式为稀疏连接。

4.如权利要求1所述的动态神经网络模型的训练方法,其特征是，所述步骤五还包括：若层数达到某一阈值时模型性能还未达到预期，停止增加新的神经元层，对各层神经元结构矩阵进行调整，将调整结果中性能最好的作为最终的模型。

5.如权利要求1所述的动态神经网络模型的训练方法，其特征是，所述一维数据为语音数据，所述神经网络模型用于语音数据主题、情感、语种的分类或者语音辨识。

6.一种动态神经网络模型的训练装置，其特征是，所述装置包括：

模型构建模块，用于神经网络模型的初始化，将原始一维数据输入到第一层神经元，相应的输出值即该层特征；增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；

模型评价模块，用于评价生成的神经网络模型；

模型优化模块，用于所述神经网络模型的优化，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；

所述模型构建模块将神经元建模为动态神经元：

其中A^(l)，B^(l)，C^(l)分别为n^(l)×n^(l)阶、n^(l)×m^(l)阶、n^(l)×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵；x^(l)，u^(l)分别为n^(l)×1、m^(l)×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，m^(l)、n^(l)的值与所在的层相关。