[发明专利]深度神经网络训练方法和系统、电子设备

权利要求书

1.一种深度神经网络训练方法，其特征在于，包括：

在前向传播过程中，利用深度神经网络模型对样本图像进行场景分析检测，获得所述深度神经网络模型的中间网络层输出的第一场景分析预测结果以及末个网络层输出的第二场景分析预测结果；

确定所述第一场景分析预测结果和所述样本图像的场景分析标注信息之间的第一差异、以及所述第二场景分析预测结果和所述样本图像的场景分析标注信息之间的第二差异；

在反向传播过程中，根据所述第一差异调整第一网络层的参数、并根据所述第一差异和所述第二差异调整第二网络层的参数；其中：所述第二网络层包括所述深度神经网络模型中位于所述中间网络层和所述末个网络层之间的至少一网络层，所述第一网络层包括所述深度神经网络模型中至少一除所述第二网络层之外的其他网络层。

2.根据权利要求1所述的方法，其特征在于，所述中间网络层包括所述深度神经网络模型中的多个网络层；不同的中间网络层进行参数调整的网络层不同。

3.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型的网络层数量为N，所述中间网络层为所述深度神经网络模型中在前向传播方向上的第M层；其中，N的取值为大于2的整数，M的取值为大于2、且小于N的整数。

4.根据权利要求3所述的方法，其特征在于，M的取值大于N/2。

5.根据权利要求1所述的方法，其特征在于，根据所述第一差异和所述第二差异调整第二网络层的参数，包括：

为所述第一差异和所述第二差异确定不同的权重；

根据所述第一差异及其权重、所述第二差异及其权重调整所述第二网络层的参数。

6.根据权利要求5所述的方法，其特征在于，所述第一差异的权重小于所述第二差异的权重。

7.根据权利要求1所述的方法，其特征在于，所述中间网络层包括辅助分类层；

所述第一场景分析预测结果包括所述辅助分类层输出的对所述样本图像中各像素的场景分类预测结果。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

对所述深度神经网络模型网络训练完成后，去除所述辅助分类层。

9.根据权利要求7所述的方法，其特征在于，确定所述第一场景分析预测结果和所述样本图像的场景分析标注信息之间的第一差异，包括：

利用第一分类代价函数层获取所述第一场景分析预测结果和所述场景分析标注信息中对所述样本图像中各像素的场景分类预测结果之间的差异，作为所述第一差异；

对所述深度神经网络模型网络训练完成后，去除所述第一分类代价函数层。

10.根据权利要求9所述的方法，其特征在于，所述第一分类代价函数层包括：回归softmax损失函数、熵函数或者支持向量机SVM代价函数。

11.根据权利要求1所述的方法，其特征在于，所述第二场景分析预测结果包括所述末个网络层输出的对所述样本图像中各像素的场景分类预测结果。

12.根据权利要求11所述的方法，其特征在于，确定所述第二场景分析预测结果和所述样本图像的场景分析标注信息之间的第二差异包括：

利用第二分类代价函数层获取第二场景分析预测结果和所述场景分析标注信息中对所述样本图像中各像素的场景分类预测结果之间的差异，作为所述第二差异。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

对所述深度神经网络模型网络训练完成后，去除所述第二分类代价函数层。

14.根据权利要求12所述的方法，其特征在于，所述第二分类代价函数层包括：回归softmax损失函数、熵函数或者支持向量机SVM代价函数。