[发明专利]用于神经网络稀疏信道生成和推断的方法

说明书

公开了用于加速利用稀疏信道的神经网络(NN)模型的推断操作的方法。离线方法通过将与稀疏信道相关联的信道核合并为一个信道核，将一层的稀疏信道合并为一个合并后的稀疏信道。该方法重新训练合并后的稀疏信道的信道核，同时保持用于密集信道的信道核固定，以修改信道模型。可以确定合并后的稀疏信道的重新训练的信道核的稀疏度并将其存储在元数据中。当修改后的信道模型在线时，该方法可以将合并后的稀疏信道的重新训练的信道核的稀疏度与稀疏推断阈值进行比较，以确定是否对合并后的稀疏信道进行推断。可以动态地调整稀疏推断阈值，以在NN模型的速度和准确性之间达到平衡。

技术领域

本公开的实施方式总体上涉及机器学习。更具体地，本公开的实施方式涉及用于通过人工智能应用中的机器学习引擎或神经网络进行推断的软件模型的生成和使用。

背景技术

神经网络用于诸如计算机视觉、自然语言处理、机器人技术和自动驾驶车辆(ADV)等应用中。例如，神经网络可以以自动驾驶模式运行(例如，无人驾驶)车辆，可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。神经网络可以通过处理由车载传感器捕获的车辆周围环境的视频和电磁图像来生成命令，以规划和控制车辆的运动。例如，神经网络可以生成或训练用于在自主模式下的感知、预测、决策、规划和/或控制过程的一组规则、算法和/或预测模型。

运动规划和控制操作的准确性和效率在很大程度上取决于神经网络使用的模型。神经网络中的模型可以使用矩阵或更一般地使用多维张量来处理输入信道数据(诸如通过一个或多个层的传感器捕获的视频和电磁图像)，以得出特征图输出。神经网络模型的每一层可以计算来自前一层的输入信道数据的表示，以使用与该层的输出信道(也称为信道矩阵或信道核)相对应的矩阵来推断一个或多个输出信道。矩阵的密度或相反地稀疏度可以是矩阵的零或接近零的参数数量的度量。稀疏度可能会影响推断计算的速度，因为在执行矩阵乘法时，可能会跳过与零或接近零的参数关联的乘法和加法运算。

大多数神经网络模型都是为密集矩阵设计的。为了加速推断操作，神经网络加速器可以利用模型中矩阵的稀疏度。例如，神经网络加速器可以通过仅对密集信道执行推断操作来削减其相应信道矩阵具有大量零或接近零的参数的稀疏信道。但是，这种削减算法可能会降低量化和推断操作后的输出特征图的准确性，尤其是在通过多层来传播错误时。削减信道的选择也可能很严格。

发明内容

根据本公开的一方面，提供了用于操作神经网络模型的推断层的计算机实施的方法，所述方法包括：

读取所述神经网络模型的推断层的元数据，所述推断层包括多个信道，并且所述元数据包括与所述多个信道相对应的多个信道核的信道稀疏度度量；

将与所述多个信道中的一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较；以及

响应于确定对应所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述一个信道的推断操作。

根据本公开的另一方面，提供了数据处理系统，包括：

处理器；

存储器，所述存储器联接至所述处理器，以存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：

读取神经网络模型的推断层的元数据，所述推断层包括多个信道，并且所述元数据包括与所述多个信道相对应的多个信道核的信道稀疏度度量；

将与所述多个信道中的一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较；以及

响应于确定对应所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述一个信道的推断操作。