[发明专利]3D集成超高带宽存储器

说明书

一种改进AI处理系统的性能的封装技术。IC封装包括：衬底；在衬底上的第一管芯和堆叠在第一管芯上的第二管芯。第一管芯包括存储器并且第二管芯包括计算逻辑。第一管芯包括具有比特单元的DRAM。第一管芯的存储器可以存储输入数据和权重因子。第二管芯的计算逻辑耦合到第一管芯的存储器。在一个示例中，第二管芯是推理管芯，其将已训练模型的固定权重应用于输入数据以生成输出。在一个示例中，第二管芯是使得能够学习权重的训练管芯。通过将第一管芯放置在第二管芯下方来改变超高带宽。两个管芯是经由微凸块而晶片对晶片接合或耦合的。

优先权要求

本申请要求享有于2019年5月31日提交的题为“3D INTEGRATED ULTRAHIGH-BANDWIDTH MEMORY”的美国专利申请第16,428,885号的优先权的权益，该申请通过引用整体并入。

背景技术

人工智能(AI)是硬件和软件计算的宽泛领域，其中数据被分析、分类，然后关于数据做出决策。例如，随着时间的推移使用大量数据对描述针对某个属性或多个属性的数据分类的模型进行训练。训练模型的过程需要大量数据和处理能力来分析数据。在训练模型时，基于模型的输出修改权重或权重因子。一旦通过反复分析数据和修改权重以获得预期结果来将模型的权重计算到高置信水平(例如，95％或更高)，则该模型被视为“已训练”。然后使用具有固定权重的该已训练模型来关于新数据做出决策。训练模型然后将已训练模型应用于新数据是硬件密集型活动。人们希望减少计算训练模型和使用训练模型的延迟，并且降低此类AI处理器系统的功耗。

这里提供的背景技术描述是出于概括地呈现本公开的上下文的目的。除非在此另有说明，否则本节中描述的材料不是本申请中权利要求的现有技术，并且不因包含在本节中而承认为现有技术。

附图说明

根据下面给出的详细描述以及本公开的各个实施例的附图，将更全面地理解本公开的实施例，然而，不应认为将本公开限制为特定实施例，而是仅用于解释和理解。

图1示出了根据一些实施例的包括位于存储器管芯顶部的计算管芯的人工智能(AI)机器的高级别架构。

图2示出了根据一些实施例的包括位于存储器管芯顶部的计算管芯的计算块的架构。

图3A示出了封装的横截面，其中计算管芯在存储器管芯下方，导致计算管芯的有限I/O(输入-输出)带宽和热问题。

图3B示出了封装的横截面，其中计算管芯在存储器管芯下方，其中计算管芯穿孔有高密度硅通孔(TSV)以与计算管芯和存储器管芯之间的凸块(bump)耦合。

图3C示出了封装的横截面，其中高带宽存储器(HBM)位于计算管芯的任一侧，由于针对I/O数量的外围约束而导致有限的I/O带宽。

图4A示出了根据一些实施例的包括计算块的封装的横截面，该计算块包括在动态随机存取存储器(DRAM)管芯上方的计算管芯(例如，推理逻辑管芯)。

图4B示出了根据一些实施例的包括计算块的封装的横截面，该计算块包括在存储器管芯的堆叠和控制器逻辑管芯上方的计算管芯(例如，推理逻辑管芯)。

图4C示出了根据一些实施例的包括计算块的封装的横截面，该计算块包括还用作中介层的存储器(例如，DRAM)上的计算管芯。

图5A示出了根据一些实施例的包括AI机器的封装的横截面，该AI机器包括具有计算块的片上系统(SOC)，该计算块包括在DRAM上的计算管芯。

图5B示出了根据一些实施例的包括AI机器的封装的横截面，该AI机器包括具有计算块的SOC，该计算块包括在DRAM上的计算管芯、处理器和固态存储器。

图5C示出了根据一些实施例的电路板上的多个封装的横截面，其中封装中的一个封装包括在存储器管芯上的计算管芯，而封装中的另一个封装包括图形处理器单元。