[发明专利]用于超大规模人工神经网络数值运算的并行计算加速方法

说明书

本发明公开了用于超大规模人工神经网络数值运算的并行计算加速方法，包括：S1，对大规模矩阵进行张量分解，转化为小规模张量；S2，将小规模张量分组进行并行运算得到一组新的张量，组间进行并行运算；组内的小规模张量先并行的两两缩并，再将结果并行缩并，直至每组得到新的张量；不同组的新的张量，构成一组新的张量；S3，将新的张量依照理论最优运算方案进行串行运算，将原本参与运算的第一矩阵得到的一组新的张量，依次进行串行缩并得到由第一矩阵元素重排形成的第一新张量；将第一新张量与原本参与运算的第二矩得到的一组新的张量，依次进行串行缩并得到第二新张量；以此类推，直至最后得到最终新张量；将最终新张量的元素重排为矩阵。

技术领域

本发明涉及神经网络技术领域，尤其是涉及一种用于超大规模人工神经网络数值运算的并行计算加速方法。

背景技术

随着深度学习的发展与大数据时代的到来，神经网络的模型越来越精细，性能也越来越卓越。然而，神经网络性能的提升往往伴随着规模的扩大与参数量的增加，硬件性能的提升速度无法满足神经网络模型对于计算能力日益庞大的需求，由此带来的存储资源和计算速度方面的问题也逐渐变得严峻，在各种便携式终端设备上的应用前景更是严重受限。通过张量分解将神经网络模型中的数据进行分解，将大规模矩阵转化为小规模的张量，将大规模的矩阵乘法运算转换为小规模的张量运算，可有效降低神经网络模型所需要的存储空间和运算时间。

现有的神经网络模型中的张量分解方法多种多样，传统的张量分解方法，例如CP分解，Tucker分解等，在模型规模较小时能取得良好的效果，但随着网络模型的增大，这些传统方法的局限性也逐渐暴露。对于大规模的神经网络而言，张量链式分解、多层塔克分解、张量环式(Tensor-Ring)分解等，这类用多个小规模张量来表示原来的大规模矩阵/张量的分解方法能取得极高的数据压缩比，是更加适宜的张量分解方法。

但值得一提的是，现有的张量分解方法在人工神经网络的中的应用以降低存储量为主。尽管在理论上，通过张量分解之后，计算复杂度和总计算量都有显著程度的降低，但原本能以极高的并行度进行的矩阵乘法会被转化为并行度较低的、串行步数较多的张量运算，因此在实际的硬件部署之后，实际的总时间开销可能会比原来更高。

发明内容

为解决现有技术的不足，在不影响神经网络性能的同时，实现降低存储数据量，提升运算速度的目的，本发明采用如下的技术方案：

用于超大规模人工神经网络数值运算的并行计算加速方法，包括如下步骤：

S1，对人工神经网络中的大规模数据进行张量分解，将大规模矩阵转化为小规模张量，存储复杂度能得到对数级的降低，能够大幅降低数据的存储量；

S2，将小规模张量分组进行并行运算，得到一组新的张量，使得张量规模增大而总数减少，在不影响数据压缩比的同时，以计算量增加的代价提高并行度，从而取得总计算时间的降低，从而实现硬件资源的充分利用和计算速度的进一步提升，包括如下步骤：

S211，组间进行并行运算；

S212，组内的小规模张量，先并行的两两缩并后，再将结果并行缩并，直至每组得到新的张量；

S213，不同组的新的张量，构成一组新的张量；

在人工神经网络的硬件部署中，为了取得最佳的数据压缩比而导致张量链式分解得到的小规模张量个数过多，在运算过程中会由于理论最优运算方案的串行特性以及参与运算的张量规模过小而导致硬件资源的极大浪费；通过张量分组并行计算得到新的张量，能在理论最优运算方案的基础上减少每个步骤中的串行步数，同时提高每个步骤的并行度，能够降低总计算时间，起到加速计算的作用；

S3，将新的张量依照理论最优运算方案进行串行运算，包括如下步骤：

S31，将原本参与运算的第一矩阵得到的一组新的张量，依次进行串行缩并，得到由第一矩阵元素重排形成的第一新张量；