[发明专利]训练深度卷积神经网络模型的方法、装置及存储介质

说明书

本公开是关于一种训练深度卷积神经网络模型的方法、装置及存储介质，所述方法包括：在通过梯度后向传播算法训练深度卷积神经网络模型的过程中，当深度卷积神经网络模型中目标层包括的目标节点的输出值作为下一层包括的N个节点的输入值时，在目标节点与该N个节点之间添加N个辅助节点；其中，目标层为深度卷积神经网络包括的任一层，目标节点为目标层包括的任一节点，N大于1且小于或等于下一层包括的节点的总个数；通过N个辅助节点对目标节点与该N个节点之间的权值进行训练。本公开通过添加辅助节点的方式，不需要专门为中间计算结果动态申请内存空间，使梯度后向传播算法变得简洁高效，极大的加速了深度卷积神经网络模型的训练过程。

技术领域

本公开涉及网络技术领域，尤其涉及一种训练深度卷积神经网络模型的方法、装置及存储介质。

背景技术

深度卷积神经网络模型是一种能够高效的进行图像识别的网络模型。也即是，可以通过深度卷积神经网络模型包括的卷积层、激活层、池化层和全连接层进行处理，最后通过深度卷积神经网络模型包括的类别概率层直接输出最终的图像识别结果，避免了对图像的复杂前期预处理。然而，在使用深度卷积神经网络模型对图像进行识别之前，还需要对深度卷积神经网络模型进行训练。

由于深度卷积神经网络模型中的每一层都包括有多个节点，因此深度卷积神经网络模型的训练是指深度卷积神经网络模型中的相邻两层节点之间的权值的训练，从而确定一组使得图像识别率较高的权值。所以，亟需一种能够提高图像识别率的深度卷积神经网络模型训练方法。

发明内容

为克服相关技术中存在的问题，本公开提供一种训练深度卷积神经网络模型的方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种训练深度卷积神经网络模型的方法，所述方法包括：

在通过梯度后向传播算法训练深度卷积神经网络模型的过程中，当所述深度卷积神经网络模型中目标层包括的目标节点的输出值作为下一层包括的N个节点的输入值时，在所述目标节点与所述N个节点之间添加N个辅助节点；

其中，所述目标层为所述深度卷积神经网络包括的任一层，所述目标节点为所述目标层包括的任一节点，所述N大于1且小于或等于所述下一层包括的节点的总个数；

通过所述N个辅助节点对所述目标节点与所述N个节点之间的权值进行训练。

可选地，所述通过所述N个辅助节点对所述目标节点与所述N个节点之间的权值进行训练，包括：

计算所述N个节点相对于所述目标节点的梯度；

将所述N个节点相对于所述目标节点的梯度分别与损失函数相对于所述N个节点的梯度对应相乘，所述损失函数是指以所述深度卷积神经网络模型中相邻两层的节点之间的权值为自变量的复合函数；

当每相乘得到一个中间计算结果时，将计算得到的中间计算结果存储至对应的辅助节点中；

当所述N个辅助节点中均已存储有中间计算结果时，将所述N个辅助节点中存储的中间计算结果传递给所述目标节点；

基于所述N个辅助节点存储的中间计算结果对所述目标节点与所述N个节点之间的权值进行训练。

可选地，所述基于所述N个辅助节点存储的中间计算结果对所述目标节点与所述N个节点之间的权值进行训练，包括：

在所述目标节点中将所述N个辅助节点中存储的中间计算结果相加，得到所述损失函数相对于所述目标节点的梯度；

基于所述损失函数相对于所述目标节点的梯度，对所述目标节点与所述N个节点之间的权值进行训练。

可选地，所述将所述N个节点相对于所述目标节点的梯度分别与损失函数相对于所述N个节点的梯度对应相乘之前，还包括：