[发明专利]深度神经网络训练方法和系统、电子设备

说明书

本发明实施例公开了深度神经网络训练方法和系统、电子设备，其中，方法包括：在前向传播过程中，利用深度神经网络模型对样本图像进行场景分析检测，获得中间网络层输出的第一场景分析预测结果和末个网络层输出的第二场景分析预测结果；确定第一场景分析预测结果和样本图像的场景分析标注信息之间的第一差异、以及第二场景分析预测结果和样本图像的场景分析标注信息之间的第二差异；在反向传播过程中，根据第一差异调整第一网络层的参数、并根据第一差异和第二差异调整第二网络层的参数；其中：第一网络层包括中间网络层和末个网络层之间的至少一网络层，第二网络层包括除第一网络层外的其他网络层。本发明实施例可以获得更好的网络模型优化结果。

技术领域

本发明涉及计算机视觉技术，尤其是一种深度神经网络训练方法和洗头膏、电子设备。

背景技术

对于神经网络，可以明显发现，网络的表达能力和性能随着网络深度的增加而增强。然而，网络并非越深越好。除了计算代价问题，在网络深度较深时，继续增加网络层数并不能提高网络性能，反而可能退化。另外，对于深度很深的神经网络，由于梯度消失等原因，如何训练一个深度很深的神经网络却一直是一个困扰人们的问题。

发明内容

本发明实施例提供一种用于进行深度神经网络训练的技术方案。

根据本发明实施例的一个方面，提供一种神经网络训练方法，包括：

在前向传播过程中，利用深度神经网络模型对样本图像进行场景分析检测，获得所述深度神经网络模型的中间网络层输出的第一场景分析预测结果以及末个网络层输出的第二场景分析预测结果；

确定所述第一场景分析预测结果和所述样本图像的场景分析标注信息之间的第一差异、以及所述第二场景分析预测结果和所述样本图像的场景分析标注信息之间的第二差异；

在反向传播过程中，根据所述第一差异调整第一网络层的参数、并根据所述第一差异和所述第二差异调整第二网络层的参数；其中：所述第二网络层包括所述深度神经网络模型中位于所述中间网络层和所述末个网络层之间的至少一网络层，所述第一网络层包括所述深度神经网络模型中至少一除所述第二网络层之外的其他网络层。

基于上述方法的另一实施例中，所述中间网络层包括所述深度神经网络模型中的多个网络层；不同的中间网络层进行参数调整的网络层不同。

基于上述方法的另一实施例中，所述深度神经网络模型的网络层数量为N，所述中间网络层为所述深度神经网络模型中在前向传播方向上的第M层；其中，N的取值为大于2的整数，M的取值为大于2、且小于N的整数。

基于上述方法的另一实施例中，M的取值大于N/2。

基于上述方法的另一实施例中，根据所述第一差异和所述第二差异调整各第二网络层的参数，包括：

为所述第一差异和所述第二差异确定不同的权重；

根据所述第一差异及其权重、所述第二差异及其权重调整所述第二网络层的参数。

基于上述方法的另一实施例中，所述第一差异的权重小于所述第二差异的权重。

基于上述方法的另一实施例中，所述中间网络层包括辅助分类层；

所述第一场景分析预测结果包括所述辅助分类层输出的对所述样本图像中各像素的场景分类预测结果。

基于上述方法的另一实施例中，所述方法还包括：

对所述深度神经网络模型网络训练完成后，去除所述辅助分类层。

基于上述方法的另一实施例中，确定所述第一场景分析预测结果和所述样本图像的场景分析标注信息之间的第一差异，包括：