[发明专利]基于高带宽存储器的神经网络计算装置和方法

说明书

本公开提供了一种基于高带宽存储器的神经网络计算装置和方法，神经网络计算装置包括至少一个高带宽存储器，每个高带宽存储器包括堆叠式累加的多个存储器，神经网络处理器，与高带宽存储器电性连接，神经网络处理器与高带宽存储器之间进行数据交换，并执行神经网络计算。本公开可以极大地提高存储带宽，高宽带存储器作为神经网络计算装置的内存，能更快的在缓存器与内存之间进行输入数据和运算参数的数据交换，使得IO时间大大缩短；由于高宽带存储器是堆叠式结构，不占用横向的平面空间，可以大幅降低神经网络计算装置的面积，神经网络计算装置的面积可以缩小至现有技术的大约5％；降低了神经网络计算装置的功耗。

技术领域

本公开涉及神经网络计算领域，尤其是一种基于高带宽存储器的神经网络计算装置和方法。

背景技术

目前人工智能领域正在飞速发展，机器学习也在影响着人们生活的方方面面。作为机器学习领域一个重要组成部分，神经网络方面的研究也是工业界和学术界同时关注的热点。由于神经网络计算中庞大的数据量，如何处理神经网络算法执行成为需要我们解决的重要问题。因此专用的神经网络计算装置应运而生。

目前阶段神经网络计算装置的架构中使用的动态随机存取存储区DRAM的类型大多为GDDR4或GDDR5。然而在神经网络计算装置中，由于需要考虑带宽，性能，功耗和面积方面的问题，GDDR4或GDDR5已经不能完全满足神经网络计算装置的需要，技术发展也已进入了瓶颈期。每秒增加1GB的带宽将会带来更多的功耗，这不论对于设计人员还是消费者来说都不是一个明智、高效或合算的选择。同时，GDDR4或GDDR5还存在着难以缩小面积的严重问题。因此，GDDR4或GDDR5将会渐渐阻碍神经网络计算装置性能的持续增长。

公开内容

(一)要解决的技术问题

有鉴于此，本公开的主要目的在于提供一种神经网络计算装置和方法，用于解决上面提出的神经网络计算装置所面临的带宽、能耗、面积等方面的瓶颈。

(二)技术方案

根据本公开的一个方面，提供了一种基于高带宽存储器的神经网络计算装置，包括：至少一个高带宽存储器，每个高带宽存储器包括堆叠式累加的多个存储器；神经网络处理器，与所述高带宽存储器电性连接，所述神经网络处理器与高带宽存储器之间进行数据交换，并执行神经网络计算。

在本公开的一些实施例中，所述神经网络处理器包括：存储接口、HBM内存控制模块、缓存器、缓冲控制模块、神经处理单元；所述高带宽存储器与缓存器之间通过所述存储接口和HBM内存控制模块交换数据，所述HBM内存控制模块对所述高带宽存储器和缓存器进行时钟同步和位宽匹配；所述缓存器通过所述缓冲控制模块与神经处理单元交换数据，所述神经处理单元进行神经网络计算。

在本公开的一些实施例中，所述存储接口将所述高带宽存储器的数据传输至所述HBM内存控制模块，以及将所述HBM内存控制模块的数据传输至所述高带宽存储器；所述HBM内存控制模块同步所述高带宽存储器和缓存器的时钟，将所述存储接口传输的数据带宽转换为与所述缓存器相匹配的带宽，并将带宽匹配的数据传输至所述缓存器；将所述缓存器的数据带宽转换为与所述高带宽存储器相匹配的带宽，并将所述带宽匹配的数据传输至所述存储接口。

在本公开的一些实施例中，所述神经网络处理器还包括：控制单元，用于向所述HBM内存控制模块、缓存器、缓冲控制模块和神经处理单元发送控制指令，实现神经网络处理器的计算功能。

在本公开的一些实施例中，还包括：封装基板，用于承载高带宽存储器；所述堆叠式累加的多个存储器为沿垂直于封装基板方向堆叠式累加的多个存储器。

在本公开的一些实施例中，还包括：中介层和逻辑芯片；所述中介层形成于所述封装基板上，所述逻辑芯片和神经网络处理器形成于所述中介层上，所述高带宽存储器形成于逻辑芯片上。