[发明专利]一种通用神经网络加速器

说明书

本发明公开一种通用神经网络加速器，属于片上系统技术领域。所述通用神经网络加速器，面向片上系统，所述片上系统包括主处理器，所述通用神经网络加速器被集成到SoC中，以协处理器的形式通过协处理器接口与所述主处理器耦合，实现基于所述主处理器扩展指令设计的自定义指令集；所述通用神经网络加速器和所述主处理器共享一级缓存L1 DCache。加速器设计完成后，用户可以在指令层面调度神经网络算法，并且针对不同的神经网络算法设定不同的向量参数，能够适应不断发展的新型神经网络算法和变化多样的应用场景。

技术领域

本发明是一种面向片上系统的通用神经网络加速器，涉及片上系统技术领域，特别涉及加速器设计领域。

背景技术

在大数据分析和大规模高速计算平台的支撑下，神经网络技术得到了可足的发展。一方面，神经网络算法不断改进，继CNN(Convolutional Neural Networks，卷积神经网络)之后，诸如RNN(Recurrent Neural Network，循环神经网络)、GAN(GenerativeAdversarial Networks，生成式对抗网络)等新型网络模型层出不穷；另一方面，由于神经网络算法在图像识别、语音分析和自然语言处理等领域表现突出，被广泛地应用到嵌入式系统中。嵌入式系统是一个专用的片上系统，它对系统的性能和功耗有着严格的要求。因此，在片上系统中集成神经网络加速器成为一个研究热点。

随着各类神经网络算法的提出，各式各样的神经网络加速器应运而生。但是，这些神经网络加速器往往是针对特定网络模型而设计的，不具有通用型，灵活性差。“寒武纪”芯片提出了基于领域专用指令集架构的神经网络加速器设计方法，从指令层面加速算法的执行，灵活度高。但是，在片上系统中，CPU负责任务的分配和调度。“寒武纪”实现了单独的基于专用指令集的神经网络处理器，加速器完全独立于CPU。CPU无法对神经网络任务在指令级别调度。并且，单独的神经网络处理器需要增加额外的译码单元和编译器，增加了硬件资源的消耗，也不适合轻量级的设计。

现存的CPU指令集不断完善，一些通用处理器指令集陆陆续续地支持扩展指令，用户根据扩展指令可以自定义指令。因此，在片上系统中实现基于CPU扩展指令的神经网络加速指令成为一种设计片上神经网络加速器的方法。

发明内容

本发明的目的在于提供一种通用神经网络加速器，以解决现有的片上系统无法适应自定义指令集的问题。

为解决上述技术问题，本发明提供一种通用神经网络加速器，面向片上系统，所述片上系统包括主处理器，所述通用神经网络加速器被集成到SoC中，以协处理器的形式通过协处理器接口与所述主处理器耦合，实现基于所述主处理器扩展指令设计的自定义指令集；所述通用神经网络加速器和所述主处理器共享一级缓存L1 DCache。

所述通用神经网络加速器包括输入数据通路、输出数据通路、算术逻辑单元、地址生成器和译码控制单元；

所述地址生成器产生每次获取源向量的地址vctxAddr和vctyAddr，以及将结果写回内存的地址rsltAddr；在译码控制单元的作用下，输入数据通路通过MEM响应接口从一级缓存L1 DCache中交替读取两个源向量，每次读取64位数，并分别存储在vctx寄存器和vcty寄存器；算术逻辑单元接收到译码控制单元的使能信号后执行计算；计算完成后，将计算结果存储到输出数据通路的寄存器中，其中vsum寄存器存储向量点积结果，sumVect存储向量加结果，译码控制单元根据指令的功能码，在输出端选择输出计算结果。

可选的，所述协处理器接口包括四个通道：

控制通道，用于所述通用神经网络加速器与所述主处理器之间传递状态信息；

请求通道，用于所述主处理器为所述通用神经网络加速器传递指令信息；

存储器请求通道，用于所述通用神经网络加速器向所述主处理器中的存储器发起读写请求；