[发明专利]用于神经网络稀疏信道生成和推断的方法

权利要求书

1.用于操作神经网络模型的推断层的计算机实施的方法，所述方法包括：

读取所述神经网络模型的推断层的元数据，所述推断层包括多个信道，并且所述元数据包括与所述多个信道相对应的多个信道核的信道稀疏度度量；

将与所述多个信道中的一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较；以及

响应于确定出对应于所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，启用所述一个信道的推断操作；或者

响应于确定出对应于所述一个信道的所述信道核的所述信道稀疏度度量小于或等于所述稀疏推断阈值，禁用所述一个信道的推断操作。

2.根据权利要求1所述的方法，其中，所述稀疏推断阈值根据所述推断操作的所需速度或准确性进行动态地调整。

3.根据权利要求1所述的方法，还包括：

读取所述神经网络模型的附加推断层的元数据；以及

将与所述附加推断层的一个信道相对应的信道核的信道稀疏度度量与第二稀疏推断阈值进行比较；以及

响应于确定与所述附加推断层的所述一个信道相对应的所述信道核的所述信道稀疏度度量大于所述第二稀疏推断阈值，控制所述附加推断层的所述一个信道的推断操作。

4.根据权利要求1所述的方法，还包括：

训练所述神经网络模型，以生成与所述推断层的多个原始信道相对应的多个原始信道核；

根据所述多个原始信道核的信道稀疏度度量对所述推断层的所述多个原始信道核进行排序，以确定所述推断层的对应的所述原始信道是密集信道还是稀疏信道；

将所述推断层的所有稀疏信道合并为合并后的稀疏信道，以生成合并后的信道核；以及

重新训练所述合并后的信道核，以生成对应于所述合并后的稀疏信道的重新训练的合并后的信道核，同时保持与所述推断层的所有密集信道对应的所述原始信道核固定。

5.根据权利要求4所述的方法，还包括：

将所述推断层的所述多个信道生成为包括所述推断层的所有密集信道和所述合并后的稀疏信道；

确定所述重新训练的合并后的信道核的信道稀疏度度量；以及

将与所述合并后的稀疏信道相对应的所述重新训练的合并后的信道核的所述信道稀疏度度量以及与所述推断层的所有密集信道相对应的所述原始信道核的所述信道稀疏度度量存储到所述元数据中。

6.根据权利要求5所述的方法，其中，将与所述多个信道中的所述一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较包括：

将对应于所述合并后的稀疏信道的所述重新训练的合并后的信道核的所述信道稀疏度度量与所述稀疏推断阈值进行比较。

7.根据权利要求5所述的方法，还包括：

将与所述推断层的所述密集信道中的一个信道相对应的所述原始信道核的所述信道稀疏度度量与所述稀疏推断阈值进行比较；以及

响应于确定与所述密集信道的所述一个信道相对应的所述原始信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述推断层的所述密集信道的所述一个信道的推断操作。

8.根据权利要求5所述的方法，其中，根据所述多个原始信道核的信道稀疏度度量对所述推断层的所述多个原始信道核进行排序，以确定所述推断层的对应的所述原始信道是密集信道还是稀疏信道包括：

重新排列所述推断层的所述多个原始信道，以将所有密集信道和所有稀疏信道分别进行分组。

9.根据权利要求5所述的方法，其中，将所述推断层的所有稀疏信道合并为合并后的稀疏信道，以生成合并后的信道核包括：

将与所述推断层的所有稀疏信道相对应的所述多个原始信道核进行合并，以生成所述合并后的信道核。