[发明专利]用于提高神经网络的处理速度的装置和方法及其应用

权利要求书

1.一种用于提高神经网络的处理速度的装置，所述装置包括处理器，所述处理器被配置成：

根据预定的处理速度提高目标，确定训练得到的神经网络中的一个或多个参数矩阵中的每个参数矩阵的维度降低量；

根据每个参数矩阵的维度降低量对每个参数矩阵进行预处理；以及

根据预处理的结果对所述神经网络进行重新训练得到一个或多个维度降低后的参数矩阵，以保证所述神经网络的性能满足预定要求。

2.根据权利要求1所述的装置，其中，所述维度降低量表示每个参数矩阵的列维度降低量，并且所述处理器进一步被配置成通过针对每个参数矩阵执行以下操作来执行所述预处理：

根据该参数矩阵的各列的参数值计算各列的列得分；以及

根据该参数矩阵的所述列维度降低量，将列得分满足预定条件的列的参数置零。

3.根据权利要求2所述的装置，其中，所述处理器进一步被配置成：针对每个参数矩阵，计算该参数矩阵的各列的参数绝对值之和作为该列的所述列得分。

4.根据权利要求2所述的装置，其中，所述处理器进一步被配置成：针对每个参数矩阵，还根据与该参数矩阵的各列的各个参数相关联的损失权重来计算所述列得分。

5.根据权利要求4所述的装置，其中，所述处理器进一步被配置成：

对所述一个或多个参数矩阵中的每个参数矩阵的所有参数和所述损失权重进行归一化；以及

针对每个参数矩阵，计算该参数矩阵的各列的归一化后的各个参数及其损失权重的加权和之和作为所述列得分。

6.根据权利要求2所述的装置，其中，所述处理器进一步被配置成：根据相应列被置零之后的所述一个或多个参数矩阵，对所述神经网络进行重新训练以得到所述一个或多个列维度降低后的参数矩阵。

7.根据权利要求2所述的装置，其中，所述处理器进一步被配置成：

根据每个参数矩阵的被置零的列，将与每个参数矩阵对应的输入矩阵的相应行中的元素置零；以及

根据相应列被置零后的一个或多个参数矩阵以及相应行被置零后的一个或多个输入矩阵对所述神经网络进行重新训练，以得到所述一个或多个维度降低后的参数矩阵。

8.根据权利要求1至7中任一项所述的装置，其中，所述处理器进一步被配置成：

根据另一预定的处理速度提高目标，确定重新训练得到的所述一个或多个维度降低后的参数矩阵中的每个参数矩阵的维度降低量；

根据所确定的每个参数矩阵的维度降低量分别再次进行预处理；以及

根据再次预处理后的结果对所述神经网络进行重新训练得到一个或多个维度再次降低后的参数矩阵，以保证所述神经网络的性能满足所述预定要求，

其中，重复执行所述确定、所述再次预处理和所述重新训练，直到得到满足最终处理速度提高目标的一个或多个维度降低后的参数矩阵为止。

9.一种用于提高神经网络的处理速度的方法，所述方法包括：

根据预定的处理速度提高目标，确定训练得到的神经网络中的一个或多个参数矩阵中的每个参数矩阵的维度降低量；

根据每个参数矩阵的维度降低量对每个参数矩阵进行预处理；以及

根据预处理的结果对所述神经网络进行重新训练得到一个或多个维度降低后的参数矩阵，以保证所述神经网络的性能满足预定要求。

10.一种用于执行神经网络中的推理过程的装置，所述装置包括处理器，所述处理器被配置成：

通过执行根据权利要求9所述的方法，将当前参数矩阵转换为维度降低后的参数矩阵；

根据维度降低后的参数矩阵，相应地将与所述当前参数矩阵对应的输入矩阵转换为维度降低后的输入矩阵；以及

将维度降低后的参数矩阵和维度降低后的输入矩阵相乘，以得到输出矩阵。