[发明专利]一种基于增强极速学习的卷积神经网络训练方法

摘要

本发明公开了一种基于增强极速学习的卷积神经网络训练方法，属于人工神经网络领域。其特征在于构建传统的卷积神经网络，以三层感知机作为全连接层；利用传统的训练算法预训练卷积神经网络模型；当网络的损失函数小于预先设定好的阈值时，停止预训练；将所有样本输入预训练好的卷积神经网络模型，记录误分类的样本；保持预训练的模型结构和参数不变，根据误分类样本和极速学习算法微调全连接层的隐层与输出层之间的连接权值。本发明克服了传统CNN存在的问题，具有学习速度快、网络泛化能力强的特点。

主权项

一种基于增强极速学习的卷积神经网络训练方法，其特征在于，包含以下步骤：步骤一 构建传统的卷积神经网络，以三层感知机作为全连接层；其中，全连接层的输入层为第CM卷积层提取的特征，隐层的激活函数为连续可微函数，输出层的激活函数为线性函数；步骤二 利用传统的训练算法和全部训练样本训练卷积神经网络模型；步骤三 设th为损失函数阈值，当网络的损失函数小于th时，停止训练，得到预训练的网络模型；步骤四 将所有样本输入预训练好的卷积神经网络模型，判断每个样本的预分类结果；将误分类的样本放入集合S；步骤五 将合集S中的样本依次输入预训练的卷积神经网络模型，得到卷积层CM的输出，并构建矩阵inELM：inELM＝[OutCM(X1) OutCM(X2) … OutCM(XN)]其中，Xi表示集合S中的第i个样本，i＝1,2,…N，N表示集合S中的样本个数，OutCM(Xi)表示样本Xi对应的CM层输出；步骤六 将矩阵inELM作为MLP的输入，并相应的MLP隐层输出为hELM；步骤七 更新MLP隐层与输出层之间的连接权矩阵：βnew＝β+hELM+T其中，β为预训练的MLP隐层与输出层之间的连接权值矩阵，βnew为更新之后的隐层与输出层之间的连接权值矩阵，hELM+为hELM的广义逆矩阵，T为集合S中的样本对应的期望输出；步骤八 用βnew替代MLP中隐层与输出层之间的连接权值矩阵β，保持预训练的卷积神经网络其他参数和网络结构不变，得到训练好的卷积神经网络模型。