[发明专利]集成闪存的高带宽存储器设备

说明书

根据本发明的一些实施例，提供了一种用于具有主机处理器的处理设备的混合高速缓存存储器，所述混合高速缓存存储器包括：高带宽存储器(HBM)，被配置为存储主机数据；在同一封装中与HBM物理集成的非易失性存储器(NVM)，被配置为存储HBM处的主机数据的副本；以及高速缓存控制器，被配置为与主机处理器进行双向通信，并且管理HBM和NVM之间的数据传输，并且响应于从主机处理器接收到的命令来管理混合高速缓存存储器和主机处理器之间的数据传输。

相关申请的交叉引用

本申请要求于2017年1月25日递交的美国临时申请No.62/450,507的权益和优先权，其全部内容以引用方式并入于此。

技术领域

本发明的各方面涉及数据处理和保留系统的领域。

背景技术

像深度神经网络这样的新兴应用需要大量高带宽存储器来训练不同的数据集和进行高精度学习。神经网络变得日益复杂和深入，这导致大量增加了需要在分页存储器中保持的中间数据集。最近的方法提出使用数百到数千台机器来训练具有数十层、数百万甚至数十亿个连接的网络。与在更传统的中央处理单元(CPU)核上相比，这些新兴应用所涉及的计算通常可以在图形处理单元(GPU)核上更高效地执行。然而，主机也可以是具有专用本地存储器的现场可编程门阵列(FPGA)或专用集成电路(ASIC)。由于数据移动开销、用于数据加载/卸载的计算停滞、有限的总线带宽以及由于硅通孔(TSV)封装约束所导致的有限的GPU存储器，在单个GPU上训练这样的网络可能太慢(例如，可能需要几周或几个月)，并且在分布式GPU集合上的训练可能是低效的。

在本背景技术部分中公开的上述信息仅用于增强对本发明背景的理解，因此可以包含不形成本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的多个方面涉及具有混合高速缓存存储器的处理设备的架构，所述混合高速缓存存储器将高带宽存储器(HBM)与高容量非易失性存储器管芯(例如，闪存管芯)集成以实现高带宽和高容量。所述处理设备利用HBM的逻辑管芯上或混合高速缓存存储器的模块中的高速缓存控制器来高效地执行数据迁移。

根据本发明的一些实施例，提供了一种用于具有主机处理器的处理设备的混合高速缓存存储器，所述混合高速缓存存储器包括：高带宽存储器(HBM)，被配置为存储主机数据；在同一封装中与HBM物理集成的非易失性存储器(NVM)，被配置为存储HBM处的主机数据的副本；以及高速缓存控制器，被配置为与主机处理器进行双向通信，并且管理HBM和NVM之间的数据传输，并且响应于从主机处理器接收到的命令来管理混合高速缓存存储器和主机处理器之间的数据传输。

根据一些示例实施例，响应于从主机处理器接收到写入命令，高速缓存控制器被配置为：确定HBM内有足够的空间来存储输入的主机数据；响应于所述确定，将输入的主机数据存储在HBM中；以及将存储的主机数据复制到NVM。

根据一些示例实施例，响应于从主机处理器接收到写入命令，高速缓存控制器被配置为：确定HBM内没有足够的空间来存储输入的主机数据；响应于所述确定，删除存储在HBM处的最早访问的数据，以便在HBM内创建足够的空间来容纳输入的主机数据的存储；将输入的主机数据存储在HBM中；以及将存储的主机数据复制到NVM。

根据一些示例实施例，高速缓存控制器被配置为当不参与为主机命令服务时复制存储的主机数据。

根据一些示例实施例，高速缓存控制器被配置为与将输入的主机数据存储在HBM中同时地将存储的主机数据复制到NVM。

根据一些示例实施例，高速缓存控制器与HBM和NVM集成在同一封装内。

根据一些示例实施例，主机处理器在所述封装外部。

根据一些示例实施例，所述HBM包括一个或多个HBM管芯堆叠，所述一个或多个堆叠中的每一个的HBM管芯通过多个硅通孔(TSV)电耦接在一起。