[发明专利]卷积神经网络中的加速器及其操作方法

说明书

技术领域

本公开涉及一种仅用于卷积神经网络的加速器，更具体地，涉及一种能够执行多层汇集(pooling)以最小化对外部存储器的存取的方法和装置。

背景技术

为了满足4G通信系统部署以来无线数据流量日益增加的需求，已经做出了努力开发改进的5G或5G前通信系统。因此，5G或5G前通信系统也称为“超4G网络”或“后LTE系统”。5G通信系统被认为是在较高频率(mmWave)频带(例如，60GHz频带)中实现的，以便实现更高的数据速率。为了减少无线电波的传播损耗并增加传输距离，在5G通信系统中讨论了波束形成、大规模多输入多输出(MIMO)、全尺寸MIMO(FD-MIMO)、阵列天线、模拟波束形成、大规模天线技术。另外，在5G通信系统中，正在基于先进的小小区、云无线接入网(RAN)、超密集网络、设备到设备(D2D)通信、无线回程、移动网络，协同通信、协调多点(CoMP)、接收端干扰消除等进行系统网络改进开发。在5G系统中，已经开发了作为高级编码调制(ACM)的混合FSK和QAM调制(FQAM)和滑动窗口叠加编码(SWSC)、以及滤波器组多载波(FBMC)、以及作为高级接入技术的非正交多址(NOMA)和稀疏代码多路接入(SCMA)。

互联网是人类生成和消费信息的以人为中心的连接网络，现在正在发展到物联网(IoT)，物联网中分布如事物、交换和过程信息的实体而无需人为干预。已经出现了通过与云服务器连接的IoT技术和大数据处理技术相结合的一切互联网(IoE)。作为技术要素，诸如“传感技术”、“有线/无线通信和网络基础设施”、“服务接口技术”和“安全技术”已被要求IoT实现，已经研究传感器网络、机器对机器(M2M)通信、机器类型通信(MTC)等。这样的IoT环境可以提供智能互联网技术服务，智能互联网技术服务通过收集和分析连接事物之间生成的数据，为人类生活创造新的价值。通过现有的信息技术(IT)和各种工业应用的融合和组合，可将IoT应用于包括智能家居、智能建筑、智能城市、智能汽车或连接汽车、智能电网、医疗保健、智能家电和先进医疗服务等的多个领域。

与此同时，已经进行了各种尝试以，将5G通信系统应用于IoT网络。例如，诸如传感器网络、机器类型通信(MTC)和机器对机器(M2M)通信的技术可以通过波束成形、MIMO和阵列天线来实现。作为上述大数据处理技术的云无线电接入网络(RAN)的应用也可以被考虑作为5G技术和IoT技术之间的融合的示例。

近来，已经积极地进行了一种方法和结构的研究，该方法和结构能够大大减少在卷积神经网络中所需的存储器使用量和存储器存取量，该卷积神经网络是在基于视觉的对象识别和语音识别领域中提供高性能的一种深度学习领域。

基于深度学习的识别应用程序已经在专门处理3D图形的图形处理单元(GPU)中执行。在使用GPU的存储器的方法中，例如，如果假设处理器存取内部寄存器文件(RF)需要“1”的能量，则在存取内部缓冲器(例如，片上SRAM)时可能消耗“10”的能量，并且在存取外部存储器(例如，片外DRAM)时可能消耗“500”的能量。也就是说，为了减少使用GPU存储器的方法中的能量，最重要的是最小化对外部存储器的存取。

GPU使用众所周知的通用矩阵到矩阵乘法(GEMM)技术，以提高深度学习所需的并行处理效率。也就是说，GPU以3D阵列的形式将输入图像转换为2D阵列的形式，以通过矩阵运算进行处理，并且对每个内核和矩阵执行常数值的乘法运算。在该处理中，输入图像的重叠部分被复制到存储器中以被重复存储，并且这导致存储器存储空间的浪费和不必要的存储器存取。对外部存储器的存取最终会浪费能量。

根据最近提出的用于卷积神经网络的加速器，正在提出一种方法和结构，可以通过从加速器中具有相对较大能量消耗的外部存储器读取的输入图像数据的最大重用来最小化对外部存储器的存取。

发明内容

本公开是为了解决上述问题而做出的，本公开的实施例提供了一种方法和装置，其可以通过减少对用于读/写中间结果值的外部存储器的存取来降低总体功耗，其中通过在卷积神经网络中执行多层的汇集而为每个层产生中间结果值。