[发明专利]直接使用反向传播学习可编程设备块的神经网络

说明书

一种训练神经网络的示例方法包括：定义硬件构建块(HBB)、神经元等同物(NEQ)以及从NEQ到HBB的转换过程；在机器学习框架中使用NEQ定义神经网络；在训练平台上训练神经网络；以及使用转换过程来将训练好的神经网络转换为HBB的网表以将神经网络中的NEQ转换为网表的HBB。

技术领域

本公开的各示例一般涉及神经网络，并且具体涉及直接使用反向传播学习可编程设备块的神经网络。

背景技术

随着深度神经网络(DNN)的规模不断增长以提高其预测能力，它们的存储器和计算足迹也在按比例增加，从而使得它们越来越难以部署在能源和资源受限的硬件环境中。使用浮点算法的DNN包含大量冗余，从而可以用于降低计算和存储器成本。这些技术包括量化、修剪和低秩分解。在所提出的量化技术中，经过训练的量化方法(其中在训练过程期间对DNN进行量化)在减少工作量的同时以量化神经网络(QNN)形式维持准确性方面取得了一些最有希望的结果。量化的最极端形式是二进制神经网络(BNN)，其中权重和激活被约束为二进制值，从而在保留高准确性的同时显著降低计算和存储器成本。

以前，为诸如现场可编程门阵列(FPGA)之类的可编程设备创建DNN加速器的策略是通过将所学习的参数放在存储器中并且调度操作来将人工神经元映射到固定硬件架构，以使正确计算发生在对应权重与激活之间。反过来，固定硬件架构使用查找表(LUT)、数字信号处理器(DSP)和其他可编程设备资源来实现。从整体上看问题，固定架构充当了结构能力与DNN执行的计算之间的接口。然而，该接口也充当优化的障碍，该障碍可以使得DNN能够充分利用可编程设备结构。更进一步地，固定架构需要非平凡的优化编译器，该优化编译器将DNN计算映射并调度到硬件上，这可能导致性能进一步下降。

发明内容

描述了用于直接使用反向传播学习可编程设备块的神经网络的技术。在一个示例中，一种训练神经网络的方法包括：定义硬件构建块(HBB)、神经元等同物(NEQ)以及从NEQ到HBB的转换过程；在机器学习框架中使用NEQ定义神经网络；在训练平台上训练神经网络；以及使用转换过程将训练好的神经网络转换为HBB的网表以将神经网络中的NEQ转换为网表的HBB。

在另一示例中，一种非暂态计算机可读介质，其上存储有指令，当被处理器执行时，这些指令使得处理器执行训练神经网络的方法，包括：定义硬件构建块(HBB)、神经元等同物(NEQ)、从NEQ到HBB的转换过程；在机器学习框架中使用NEQ定义神经网络；在训练平台上训练神经网络；以及使用转换过程将训练好的神经网络转换为HBB的网表以将神经网络中的NEQ转换为网表的HBB。

在另一示例中，一种计算系统包括系统存储器，该系统存储器被配置为存储实现设计工具的代码；训练平台；以及处理器，该处理器耦合到系统存储器和训练平台，该处理器被配置为执行代码以通过以下方式执行对神经网络的训练：定义硬件构建块(HBB)、神经元等同物(NEQ)以及从NEQ到HBB的转换过程；在机器学习框架中使用NEQ定义神经网络；在训练平台上训练神经网络；以及使用转换过程将训练好的神经网络转换为HBB的网表以将神经网络中的NEQ转换为网表的HBB。

可以参考以下具体实施方式来理解这些和其他方面。

附图说明

为了能够详细理解上文所阐述的特征的方式，可以通过参考示例实现方式来进行上文所简要概括的更具体的描述，其中一些示例实现方式在附图中示出。然而，应当指出，附图仅图示了典型的示例实现方式，因此不应被认为是对其范围的限制。

图1A是描绘了根据示例的硬件加速系统的框图。

图1B是描绘了根据示例的经加速的应用的框图。

图2是描绘了根据示例的计算系统(“计算机”)的框图。

图3是描绘了根据示例的训练神经网络的方法的流程图。

图4是描绘了根据示例执行图3所示方法的一部分的方法的流程图。