[发明专利]考虑负载均衡的深度神经网络压缩方法

权利要求书

1.一种通过硬件平台进行神经网络计算的方法，所述神经网络的神经元之间的连接关系以多个矩阵表示，使用硬件平台中的N个计算单元来实现使输入数据通过神经网络的计算，所述N个计算单元能够以并行方式进行计算，所述方法包括：

分块步骤，对所述多个矩阵进行分块，把每个矩阵分为N个大小相似的子矩阵，其中，各子矩阵中含有相似数目的非零元素；

压缩步骤，对每个子矩阵进行压缩，从而把每个子矩阵压缩为稀疏矩阵；

编码步骤，对压缩后的每个稀疏子矩阵进行编码；

分块计算步骤，把编码后的N个稀疏子矩阵以并行方式分别相应地提供给所述N个计算单元以进行神经网络计算。

2.根据权利要求1所述的方法，所述分块步骤进一步包括：

对每个矩阵以每隔N行抽取的方式进行分割，从而形成N个大小相似的子矩阵。

3.根据权利要求1所述的方法，所述压缩步骤包括：以相同的压缩率对每个子矩阵进行压缩。

4.根据权利要求3所述的方法，所述压缩步骤包括：将各子矩阵中的元素按绝对值从小到大进行排序，保留与相应压缩率相对应比例的绝对值较大的元素，并将其余元素置零。

5.根据权利要求1所述的方法，所述编码步骤包括：以行压缩(Compressed RowStorage CRS)或列压缩存储(Compressed Column Storage CCS)方式来编码所述稀疏子矩阵。

6.一种通过硬件平台进行神经网络计算的方法，所述神经网络的神经元之间的连接关系以多个矩阵表示，使用硬件平台中的N个计算单元来实现使输入数据通过神经网络的计算，所述N个计算单元能够以并行方式进行计算，所述方法包括：

分块步骤，对所述多个矩阵进行分块，把每个矩阵分为N个大小相似的子矩阵，其中，各子矩阵中含有相似数目的非零元素；

敏感度分析步骤，用于分析所述多个矩阵中的每个矩阵的敏感度，以及确定各个矩阵的初始压缩比；

压缩步骤，用于基于所述初始压缩比对所述各个矩阵的子矩阵进行压缩，以获得压缩后的神经网络；

重训步骤，用于重训所述压缩后的神经网络；

分块计算步骤，把重训后的神经网络中的各个子矩阵以并行方式分别相应地提供给所述N个计算单元以进行神经网络计算。

7.根据权利要求6所述的方法，还包括：

迭代执行所述分块步骤、所述敏感度分析步骤、所述压缩步骤、所述重训步骤。

8.根据权利要求6所述的方法，所述神经网络是LSTM神经网络。

9.根据权利要求6所述的方法，所述分块步骤进一步包括：

对每个矩阵以每隔N行抽取的方式进行分割，从而形成N个大小相似的子矩阵。

10.根据权利要求6所述的方法，其中，所述敏感度分析步骤进一步包括：

获得压缩前的神经网络词错误率WER_initial；

基于不同压缩比d1、d2、…dn来压缩所述神经网络，得到压缩后的各个神经网络词错误率WER_d1、WER_d2，…WER_dn；

基于所述各个神经网络词错误率WER_d1、WER_d2，…WER_dn，从所述多个不同压缩比中选择一个作为初始压缩比。

11.根据权利要求10所述的方法，其中，从所述多个不同压缩比中选择一个作为初始压缩比包括：

计算各个ΔWER，即WER_initial与WER_d1、WER_d2，…WER_dn的差值；

基于所述各个ΔWER，选择满足ΔWER小于预定阈值的所有压缩比d1、d2、…dn之中最大的压缩比。