[发明专利]一种针对深度神经网络DNN训练问题的错误定位方法

权利要求书

1.一种针对深度神经网络DNN训练问题的错误定位方法，其特征在于，包括以下步骤：

S1、DNN模型准备；

S2、DNN训练监控和数据收集；

S3、第一次错误识别ADetection；

S4、第二次错误识别DDetection；

S5、错误定位ASTAnalysis。

2.根据权利要求1所述的一种针对深度神经网络DNN训练问题的错误定位方法，其特征在于，所述S1的具体步骤包括：

S1.1、通过关键词bug等同义词进行搜索DNNbug模型；

S1.2、删除一些得分低的DNNbug模型；

S1.3、检查搜索到的DNNbug模型是否包含补丁或者修复结果；当检查搜索到的DNNbug模型未包含补丁或者修复结果时，删除该未包含补丁或者修复结果的DNNbug模型；

S1.4、检查DNNbug模型中是否包含有初始化器、批量大小、激活函数、学习率、优化器、损失函数、精确率、迭代次数、批处理的必要模型参数；当检查DNNbug模型中未包含有初始化器、批量大小、激活函数、学习率、优化器、损失函数、精确率、迭代次数、批处理的必要模型参数时，删除该未包含有初始化器、批量大小、激活函数、学习率、优化器、损失函数、精确率、迭代次数、批处理的必要模型参数的DNNbug模型；

S1.5、获得有效的DNNbug模型用来进行错误定位并获得有效的DNNbug的修复结果用来对错误定位的结果进行检验。

3.根据权利要求1所述的一种针对深度神经网络DNN训练问题的错误定位方法，其特征在于，所述S2在DNN模型训练时利用回调方法监控模型并收集数据，收集的相关数据如下：S2.1、模型定义，包括层及其配置；S2.2、模型使用的优化方法的定义及其参数；S2.3、模型训练准确率和损失值；S2.4、计算每个神经元的梯度；S2.5、模型的超参数和训练中使用的其他必要变量。

4.根据权利要求1所述的一种针对深度神经网络DNN训练问题的错误定位方法，其特征在于，所述S3中ADetection用来识别5种DNN训练问题：识别梯度消失问题，在模型训练时遇到如下症状：在反向传播过程中，梯度从一层到另一层呈指数衰减，在接近输入层的层接近于零，训练准确率较低；识别梯度爆炸问题，在模型训练时遇到如下症状：在反向传播过程中，梯度从输出层到输入层以指数形式增加以指数形式增加，在靠近输入层的层中可能变大甚至变为NaN值，训练准确率较低；识别激活函数ReLU濒死问题，在模型训练时遇到如下症状：在使用激活函数ReLU训练DNN时，有绝大多数神经元的梯度为零，并且训练准确率低；识别振荡损失问题，在模型训练时遇到如下症状：模型训练的准确率在很长一段时间内一直在大范围内波动；识别慢收敛问题，在模型训练时遇到如下症状：模型训练的准确率在较长时间内保持较低的值，但训练的损失值却在缓慢下降。