[发明专利]用于提高神经网络的处理速度的装置和方法及其应用

说明书

提供了一种用于提高神经网络的处理速度的方法和装置及其在神经网络中的应用。该装置包括处理器，该处理器被配置成：根据预定的处理速度提高目标，确定训练得到的神经网络中的一个或多个参数矩阵中的每个参数矩阵的维度降低量；根据每个参数矩阵的维度降低量对每个参数矩阵进行预处理；以及根据预处理的结果对神经网络进行重新训练得到一个或多个维度降低后的参数矩阵，以保证神经网络的性能满足预定要求。根据本公开的实施例，可以在保证神经网络的性能满足预定要求的情况下，大大提高神经网络的处理速度。

技术领域

本公开涉及深度学习领域，更具体地，涉及一种用于提高神经网络的处理速度的装置和方法以及该装置和方法在神经网络中的应用。

背景技术

近年来，基于神经网络(诸如卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)等)的方法已在大量应用中实现了非常好的性能。这些方法的关键技术在于找到一种在具有有限样本的数据集上成功地训练一种大且深的神经网络模型的方式。这种大且深的神经网络模型具有强大的表达能力，从而其可以对复杂的数据进行建模。然而，这种大而深的网络结构往往需要巨大的推理时间来实现更好的性能。

传统的用于提高神经网络的处理速度(即，加速推理过程)的技术主要集中于循环展开、卷积神经网络卷积层的低秩展开以及并行加速等方面，例如，基础线性代数子程序(BLAS)封装、单指令多数据(SIMD)等。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

神经网络的推理过程通常需要涉及矩阵乘法运算，随着神经网络的规模和深度的增加，矩阵的规模也越来越大，从而导致推理过程所涉及的矩阵乘法运算量以指数级增加，大大降低了神经网络的处理速度。以卷积神经网络CNN为例，卷积神经网络的大约99％的处理时间花费在卷积层和全连接层，而这些层主要是通过矩阵乘法运算实现的。因此，如果能够减少矩阵乘法的计算量，则能够大大加速神经网络的推理过程，从而显著提高神经网络的处理速度。

鉴于此，本公开的目的是提供一种用于提高神经网络的处理速度的装置和方法以及该装置和方法在神经网络中的应用，其在保证神经网络的性能满足预定要求的情况下通过降低矩阵维度来减少矩阵乘法的计算量，从而提高神经网络的处理速度。

根据本公开的一方面，提供了一种用于提高神经网络的处理速度的装置，该装置包括处理器，该处理器被配置成：根据预定的处理速度提高目标，确定训练得到的神经网络中的一个或多个参数矩阵中的每个参数矩阵的维度降低量；根据每个参数矩阵的维度降低量对每个参数矩阵进行预处理；以及根据预处理的结果对神经网络进行重新训练得到一个或多个维度降低后的参数矩阵，以保证神经网络的性能满足预定要求。

根据本公开的优选实施例，上述维度降低量表示每个参数矩阵的列维度降低量，并且处理器进一步被配置成通过针对每个参数矩阵执行以下操作来执行预处理：根据该参数矩阵的各列的参数值计算各列的列得分；以及根据该参数矩阵的列维度降低量，将列得分满足预定条件的列的参数置零。

根据本公开的另一优选实施例，处理器进一步被配置成：针对每个参数矩阵，计算该参数矩阵的各列的参数绝对值之和作为该列的列得分。

根据本公开的另一优选实施例，处理器进一步被配置成：针对每个参数矩阵，还根据与该参数矩阵的各列的各个参数相关联的损失权重来计算列得分。

根据本公开的另一优选实施例，处理器进一步被配置成：对一个或多个参数矩阵中的每个参数矩阵的所有参数和损失权重进行归一化；以及针对每个参数矩阵，计算该参数矩阵的各列的归一化后的各个参数及其损失权重的加权和之和作为列得分。