[发明专利]一种梯度下降算法的差异可视分析方法

说明书

一种梯度下降算法的差异可视分析方法，包括以下步骤：采用梯度下降算法对线性回归数据集进行训练，提取训练过程中的特征向量，并且得到最优线性回归系数。运用可视化技术对上面提取的特征向量进行可视分析，通过热力图来展示梯度下降算法对多个模型的训练结果，采用线性拟合和误差曲线协助用户直观地认识梯度下降算法，运用矩阵图来进行横向和纵向比较，以此来帮助用户理解梯度下降算法，了解学习率或动量的变化给最后的结果带来的影响，利用利用散点矩阵图来探索每个模型中不同特征参数之间的关联性。通过以上步骤帮助深度学习初学者理解梯度下降算法的工作原理，并且帮助他们掌握并且熟练使用不同的梯度下降算法，以及明白它们的差异性。

技术领域

本发明涉及一种梯度下降算法的差异可视分析方法。

背景技术

近几年，人工智能在各领域的应用伴随计算机相关技术的迅猛发展，都取得了丰厚的成果。比如：基于深度学习的人脸识别、语音识别和语言处理应用程序等，给人们的生活带来了许多便利，也得到了更多学者、企业的关注。

深度学习作为一项核心技术，在视频、医疗、金融、无人驾驶等行业都有相应的运用，但是面对众多的深度学习算法，我们应该怎么选择呢？面对这些深度学习算法给出的结果，我们应该怎么解释呢？我们怎样才能改善这些结果呢？

深度学习在各个领域的成功应用一方面是计算机硬件设备的迅猛发展(GPU)和大数据的支持，另一个方面则是神经网络模型结构的建立和不同优化算法之间的选择以及超参数的设置，所以，神经网络的优化问题一直被学术界广泛的关注，并成为一个非常重要的课题。

优化算法的选择和超参数值的设置，对神经网络的性能有着至关重要的作用。在很多深度学习模型训练到最后都变成求解最优化问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，它要解决的问题是帮我们找到一个近似最优解，并确定这个最优解是否有效，这是我们在深度网络中需要解决的最基本问题也是至关重要的一个问题。在很多预测算法中，如线性回归，经常使用梯度下降算法来进行迭代使得误差函数的误差值尽可能小，这个时候学习率，动量等超参数的选择就十分重要，如果你对算法的原理不理解，你可能很难较快的选择到合适的学习率，所以对梯度下降优化算法的原理进行可解释性分析就至关重要。

梯度下降算法的核心思想是通过迭代逼近最小偏差从而得出最优路径，但是传统的梯度下降算法的训练效果并不理想、不能满足人们的需求，因此，很多学者对梯度下降算法做了改进，梯度下降算法经历了几个阶段：传统梯度下降算法到批量梯度下降算法、小批量梯度下降算法、随机梯度下降算法；在随机梯度下降算法的基础上，又进行一系列的改进，产生一系列的变种算法，如Momentum、NAG、Adagrad、Adadelta、RMSProp、Adam等等。虽然谷歌、脸书、微软、亚马逊等公司开发的深度学习库中都包含了各种梯度下降算法的实现(例如Tensorflow，Cafe，Keras等等)，但是这些库里的优化算法通常作为黑盒优化器使用，没有对各种梯度下降算法的优点、缺点、影响因素以及差异性给出可解释性分析，所以我们很有必要去了解梯度下降算法的工作原理，熟知不同梯度下降算法之间的区别，并能够根据它们各自的优缺点选择最合适的方法和参数来应用于相应的场景。

发明内容

为了帮助深度学习初学者理解梯度下降算法的工作原理，并且帮助他们掌握并且熟练使用不同的梯度下降算法，以及明白它们的差异性，本发明提供了一种梯度下降优化算法的差异可视分析方法。

为了解决上述技术问题，本发明提供如下的技术方案：

一种梯度下降算法的差异可视分析方法，所述方法包括以下步骤：

1)采用梯度下降算法对线性回归数据集进行训练，提取训练过程中的特征向量，并且得到最优线性回归系数。步骤如下：