[发明专利]用于实施卷积神经网络加速器上的层的方法和装置

说明书

提供用于实施卷积神经网络加速器上的层的方法和装置。用于在目标上实施卷积神经网络(CNN)加速器的方法包括利用一个或者多个处理元件实施标准卷积层。修改CNN加速器的配置以改变CNN加速器上的部件之间的数据流。响应于数据流的改变，利用一个或者多个处理元件实施完全连接层。

相关申请

本申请是2015年10月9日提交的题目为“Method and Apparatus for Designingand Implementing a Convolution Neural Net Accelerator”的共同未决美国申请号14/879,928的部分继续并且根据标题35、美国法典第120节要求其权益。本申请还要求2015年10月7日提交的题目为“Method and Apparatus for Designing and ImplementingStandard and Fully-Connected Convolution Layers on a Convolutional NeuralNetwork Accelerator”的临时美国专利申请号62/238,598的权益和优先权，其全部并且完整的主题通过引用明确地整体并入于此。

技术领域

本发明的实施例涉及用于设计目标设备上的系统的工具。更具体地，本发明的实施例涉及用于实施卷积神经网络加速器上的层的方法和装置。

背景技术

由于图像和视频在因特网上已经变得越来越普遍，产生了对有能力针对包括搜索和概括在内的各种应用高效地分析其语义内容的算法的需要。卷积神经网络(CNN)已经显示出是用于执行图像识别、检测、以及检索的有效工具。CNN可以被扩大规模并且被配置为支持学习过程所需要的大标记(large labeled)数据集。在这些条件下，发现CNN在学习复杂并且鲁棒的图像特征方面是成功的。

CNN是前馈人工神经网络的类型的，其中单独的神经元以如下方式拼接，使得它们响应于视场中的重叠区域。CNN是受到了生物体内的视神经的行为的启发。CNN使用多层神经元连接来处理数据，以在图像识别中实现高准确度。多层CNN的发展导致了复杂识别任务(诸如大类别图像分类、自动语音识别、以及其它数据分类/识别任务)的准确度的改善。

单个处理器的计算功率上的限制导致了对其它计算配置的探索，以满足对于支持CNN的需要。在这些探索领域中，对CNN加速器进行了研究，其利用图形处理单元上的通用计算(GPGPU)、多核处理器、现场可编程门阵列(FPGA)、以及专用集成电路(ASIC)形式的硬件专用性。

发明内容

根据本发明的实施例，公开了用于设计和实施卷积神经网络(CNN)加速器的方法。该方法利用电子设计自动化(EDA)工具，EDA工具响应于CNN加速器的特征(其可以包括由用户指定的CNN加速器的特性和参数)和由用户选择的目标上的可用资源，来生成用于CNN加速器的设计。目标可以包括一个或者多个类型的一个或者多个目标设备。EDA工具分配用于实施CNN加速器的目标上的资源以实现高性能。例如，分配目标上的资源以实施尺寸适当的缓冲器以处理要由CNN加速器处理的图像的类型和尺寸。还分配目标上的资源以实施适当类型和数目的计算单元(诸如处理元件)以支持由CNN加速器应用的过滤器和层的类型。EDA工具还生成定序单元，该定序单元被编程为将数据的传输协调到适当的计算单元以便时分复用计算单元上的计算。

根据本发明的实施例，某一范围的特性可以由用户指定，以允许CNN加速器执行多个CNN算法。在这一实施例中，实施一个或者多个可配置状态寄存器(CSR)，以便在CNN加速器在目标上被编程之后，允许用户在运行时对目标进行配置以支持用于执行多个CNN算法中的一个CNN算法所需要的指定特性。当在现场可编程门阵列(FPGA)上实施时，CSR有效地允许对CNN加速器的运行时配置。这便于以CNN应用为目的的FPGA覆盖。