[发明专利]基于跳出局部极小的改进卷积神经网络训练的方法

权利要求书

1.基于跳出局部极小的改进卷积神经网络训练的方法，其特征在于，包含以下几个步骤：

(1)随机初始化结构为L层的卷积神经网络，通过Adam优化器对其进行训练，直至训练损失不再下降，到达收敛状态，此时得到的卷积神经网络是参数空间中的一个局部极小值点，记作θ^*

(2)构造出与卷积神经网络θ^*具有同样结构但是参数值发生了改变的另一个卷积神经网络，记作θ

(3)再构造出与卷积神经网络θ具有同样结构但是参数值发生了改变并且训练损失值不发生改变的另一个卷积神经网络θ′；

(4)进一步优化θ′，使训练损失降至比θ^*的训练损失更低的程度，得到比θ^*分类效果更好的卷积神经网络，记作θ″，代表成功跳出了局部极小值点θ^*。

2.根据权利要求1所述的基于跳出局部极小的改进卷积神经网络训练的方法，其特征在于，所述步骤1具体包括：

构造结构为L层的卷积神经网络，除最后一层即第L层是全连接层，其余层都为卷积层，随机初始化权重和偏置，通过Adam优化器对其进行训练，直至训练损失不再下降，到达收敛状态，此时得到的卷积神经网络，记作θ^*；

将卷积神经网络θ^*第l层的二维权值矩阵表示为W^*l，其中第(i，j)项记作W^*l(i，j)，用来记录卷积神经网络θ^*第l层的第i个输出神经元和第j个输入神经元之间的权值；将卷积神经网络θ^*第l层的偏置向量表示为b^*l；将卷积神经网络θ^*第l-1层的输出表示为o^*l-1，将ReLU激活函数表示为函数σ，则卷积神经网络θ^*第l层的输出o^*l为：

o^*l＝σ(W^*lo^*l-1+b^*l)

卷积神经网络θ^*的训练损失(经验风险)的定义如下所示：

其中o^*l(x_i)为输入的第i个训练样本x_i在卷积神经网络θ^*中的映射输出，y_i为输入的第i个训练样本x_i的标记(目标输出)，函数l表示分类问题中广泛使用的交叉熵损失函数，N代表训练样本总数。