[发明专利]经由编译器发现深度学习加速器的硬件特性以用于优化

说明书

本发明描述与深度学习加速器及存储器相关的系统、装置及方法。例如，集成电路装置可经配置以执行具有矩阵运算数的指令，并经配置成具有随机存取存储器。运行编译器的计算装置可交互及/或探测集成电路装置，以在执行矩阵计算时识别所述集成电路装置的硬件特性。所述编译器可至少部分地基于所述集成电路装置的硬件特性，从人工神经网络的描述产生并优化编译结果。所述编译结果可包含第一数据及第二数据，所述第一数据代表所述人工神经网络的参数，所述第二数据代表可由所述集成电路装置执行以基于所述第一数据及到所述人工神经网络的输入来产生所述人工神经网络的输出的指令。

相关申请

本申请要求2020年11月6日申请且标题为“经由编译器发现深度学习加速器的硬件特性以用于优化(DISCOVERY OF HARDWARE CHARACTERISTICS OF DEEP LEARNINGACCELERATORS FOR OPTIMIZATION VIA COMPILER)”的第17/092,033号美国专利申请的优先权，所述申请的全部公开内容特此以引用方式并入本文中。

技术领域

本文公开的至少一些实施例大体上涉及编译器，且更具体地说(但不限于)用于产生可由用于人工神经网络(ANN)(例如通过机器学习及/或深度学习配置的ANN)的加速器执行的指令的编译器。

背景技术

人工神经网络(ANN)使用神经元网络处理到网络的输入且从网络产生输出。

深度学习已用于许多应用领域，例如计算机视觉、语音/音频辨识、自然语言处理、机器翻译、生物信息学、药物设计、医学图像处理、游戏等。

附图说明

实施例通过实例来说明且不限于附图的图，其中相似的元件符号指示类似元件。

图1展示根据一个实施例配置的具有深度学习加速器及随机存取存储器的集成电路装置。

图2展示根据一个实施例的经配置以执行矩阵-矩阵运算的处理单元。

图3展示根据一个实施例的经配置以执行矩阵-向量运算的处理单元。

图4展示根据一个实施例的经配置以执行向量-向量运算的处理单元。

图5展示根据一个实施例的经配置以自主地将输入应用于经训练人工神经网络的深度学习加速器及随机存取存储器。

图6展示根据一个实施例的用于产生可由深度学习加速器执行的指令以实施人工神经网络的技术。

图7及8说明根据一个实施例的将通用深度学习加速器的编译结果映射到可由特定深度学习加速器执行的指令以实施人工神经网络的技术。

图9展示根据一个实施例的用于产生可由深度学习加速器执行的指令以实施人工神经网络的另一技术。

图10展示根据一个实施例配置的具有拥有可配置硬件能力的深度学习加速器以及随机存取存储器的集成电路装置。

图11说明根据一个实施例的可经由存储在寄存器中的选项配置的深度学习加速器的处理单元的不同硬件配置。

图12说明根据一个实施例的用于产生可由具有经优化硬件配置的深度学习加速器执行的指令以实施人工神经网络的技术。

图13展示根据一个实施例的用于发现深度学习加速器的硬件特性的技术。

图14说明根据一个实施例的用于产生可由深度学习加速器执行并根据深度学习加速器的硬件特性优化的指令的技术。

图15展示根据一个实施例的用于基于深度学习加速器的硬件特性来编译指令以在深度学习加速器上实施人工神经网络的方法。

图16展示本公开的实施例可在其中操作的实例计算机系统的框图。