[发明专利]混合精度深度学习算法

说明书

技术领域

本发明涉及深度学习算法的技术领域，具体涉及一种混合精度深度学习算法。

背景技术

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本，其概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外，Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度神经网络是一种具备至少一个隐层的神经网络，图1为神经元的示意图，图2为神经网络结构的示意图。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度学习是一种典型的计算密集型问题，计算量非常大。目前而言，有双精度的深度学习，也有单精度的深度学习，虽然结果都是收敛的，但是精度不一样。对于这种计算密集型的应用，一个较好的选择就是使用众核加速，比如使用GPU(图形处理器)进行加速计算。对于这类加速部件而言，单精度的减速速度往往是双精度的两倍，因此，利用单精度计算来达到双精度的结果是一个值得研究的课题。

在现代体系结构上，32位浮点运算通常至少要比64位浮点运算快两倍。人们很早就发现在求解线性方程组时可以采用低精度计算获得计算加速，而只用少量的高精度计算达到与全部用高精度的一致的计算结果。1948年，威尔金森在设计、制造图灵计算机时，提出求解线性方程组的迭代改进(iterative refinement)。求解线性方程组Ax＝b的迭代改进思想可以描述为：

x⁽⁰⁾＝0

d^(s)＝b-Ax^(s)compute residual in high precision

Ac^(s)＝d^(s)solve equation system in low precision

x^(s+1)＝x^(s)+c^(s)accumulate solution in high precision

威尔金森和他的合作者们证明：如果矩阵A不是高度病态，连续对x用混合精度求解，会收敛到全部用高精度计算的结果。对于线性方程组求解，90％以上的浮点计算可以通过低精度来完成，并且不会影响解的精度。混合精度计算的主要思想是通过对计算密集部分采用低精度，对少量关键步骤采用高精度，从而达到计算加速的一种策略。

混合精度计算的有效性在于必须保证最终的计算精度没有损失。Langou等(2006年)在Cell及主流CPU上应用于稠密矩阵求解对混合精度算法的有效性进行了全面测试。Goddeke等(2008年)在大规模矩阵的多重网格求解进行了测试。这些测试证实了混合精度计算结果与全部用高精度计算结果的精度完全一致。

发明内容

针对相关技术中存在的不足，本发明所要解决的技术问题在于：提供一种既保证了计算精度不变，又提高了计算效率的混合精度深度学习算法。

为解决上述技术问题，本发明采用的技术方案为：混合精度深度学习算法，包括以下步骤：S101、利用单精度众核处理器进行前向传播计算，对每一网络层计算出每一个神经元的值；S102、利用单精度众核处理器进行后向传播计算，对每一网络层计算出误差残量值；S103、利用单精度众核处理器计算权值的增量；S104、将单精度众核处理器计算出的增量权值更新到高精度众核处理器计算出的增量权值上，完成一次迭代计算。

优选地，所述混合精度深度学习算法发生于深度学习的迭代后期。

优选地，步骤102中，所述进行后向传播计算，对每一网络层计算出误差残量值，具体包括：将上一层的残差乘以当前层的权值，并与当前层的梯度做乘法，得出所有层的误差残量值。

优选地，步骤103中，所述计算权值的增量，具体包括：利用后向传播中计算出来的每一网络层的残差值，通过梯度等计算出权值变化量。