[发明专利]一种针对深度神经网络DNN训练问题的错误定位方法

说明书

本发明属于DNN错误定位技术领域，具体涉及一种针对深度神经网络DNN训练问题的错误定位方法。本发明包括以下步骤：S1、DNN模型准备；S2、DNN训练监控和数据收集；S3、第一次错误识别ADetection；S4、第二次错误识别DDetection；S5、错误定位ASTAnalysis。本发明提出的方法，可以精确地定位常见的DNN训练问题中的bug，该方法能有效提高定位DNN训练问题中的bug的效率，减少模型训练和调试的时间。本发明能够帮助软件开发人员提高DNN模型训练的效率，找到性能更好的DNN模型，进而改进软件的性能。

技术领域

本发明属于DNN错误定位技术领域，具体涉及一种针对深度神经网络DNN训练问题的错误定位方法。

背景技术

在深度神经网络快速发展的过程中，现有的神经网络技术缺乏定位DNN中bug的能力。主要是因为很多DNN存在缺陷，开发人员对DNN模型行为的理解不到位，而且现有的DNN调试工具不能够快速并且精确地定位DNN训练问题中的bug。所以，需要这种技术来解决DNN训练问题的bug。

DNN的错误定位技术可以很好的帮助开发人员有效的定位DNN的错误。最近，研究人员提出了一些关于DNN错误定位技术，然而，这些方法对DNN的错误定位不够精确。

发明内容

为解决上述现有技术存在的技术问题，本发明提出了一种针对深度神经网络DNN训练问题的错误定位方法，该方法能够精确定位DNN的训练问题中的bug，能够帮助软件开发人员提高DNN模型训练的效率，找到性能更好的DNN模型，进而改进软件的性能。

本发明为实现上述发明目的，采取的技术方案如下：

一种针对深度神经网络DNN训练问题的错误定位方法，包括以下步骤：S1、DNN模型准备；S2、DNN训练监控和数据收集；S3、第一次错误识别ADetection；S4、第二次错误识别DDetection；S5、错误定位ASTAnalysis。

进一步的作为本发明的优选技术方案，所述S1的具体步骤包括：S1.1、通过关键词bug等同义词进行搜索DNNbug模型；S1.2、删除一些得分低的DNNbug模型；S1.3、检查搜索到的DNN bug模型是否包含补丁或者修复结果；当检查搜索到的DNNbug模型未包含补丁或者修复结果时，删除该未包含补丁或者修复结果的DNN bug模型；S1.4、检查DNN bug模型中是否包含有初始化器、批量大小、激活函数、学习率、优化器、损失函数、精确率、迭代次数、批处理的必要模型参数；当检查DNNbug模型中未包含有初始化器、批量大小、激活函数、学习率、优化器、损失函数、精确率、迭代次数、批处理的必要模型参数时，删除该未包含有初始化器、批量大小、激活函数、学习率、优化器、损失函数、精确率、迭代次数、批处理的必要模型参数的DNNbug模型；S1.5、获得有效的DNNbug模型用来进行错误定位并获得有效的DNNbug的修复结果用来对错误定位的结果进行检验。

进一步的作为本发明的优选技术方案，所述S2在DNN模型训练时利用回调方法监控模型并收集数据，收集的相关数据如下：S2.1、模型定义，包括层及其配置；S2.2、模型使用的优化方法的定义及其参数；S2.3、模型训练准确率和损失值；S2.4、计算每个神经元的梯度；S2.5、模型的超参数和训练中使用的其他必要变量。