[发明专利]加速器、加速器的操作方法和加速器系统

说明书

公开加速器、加速器的操作方法和加速器系统。所述方法包括：接收由主机控制器分配的一个或多个工作负载；当包括在加速器中的多个处理单元执行工作负载时，基于加速器的硬件资源信息和/或存储器访问成本来确定工作负载的重用数据；以及提供执行工作负载的结果。

本申请要求于2020年2月26日提交到韩国知识产权局的第10-2020-0023750号韩国专利申请的权益，所述韩国专利申请的全部公开通过引用出于所有目的包含于此。

技术领域

以下描述涉及加速器的操作方法和包括加速器的系统。

背景技术

随着人工智能(AI)技术的发展，存在对可通过运算来执行推断和学习的专用AI硬件的需求。正在开发各种装置作为专用于实现AI的硬件。

这样的用于AI的专用硬件可由例如中央处理器(CPU)和图形处理器(GPU)来实现，或者由可被改变用途的专用集成电路(ASIC)和现场可编程门阵列(FPGA)来体现。

发明内容

提供本发明内容以便以简化的形式介绍将在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。

在一个总体方面，一种加速器的操作方法包括：接收由主机控制器分配的一个或多个工作负载，主机控制器被配置为控制包括多个处理元件的加速器；在所述多个处理元件执行工作负载时，基于加速器的硬件资源信息和存储器访问成本中的至少一个来确定工作负载的重用数据；以及将执行工作负载的结果提供给主机控制器。

确定重用数据的步骤可包括：当处理元件执行工作负载时，确定加速器对外部存储器的访问具有最少次数的重用数据。

加速器的硬件资源信息可包括以下中的至少一个：包括在加速器中的多级存储器的使用信息、处理元件的使用信息或系统高速缓存信息。

多级存储器可包括以下中的至少一个：0级存储器，能够由处理元件之一访问；1级存储器，能够由处理元件的部分访问，其中，子集是大于一的数；或2级存储器，能够由处理元件访问。

确定重用数据的步骤还可包括：基于工作负载的特性来动态地确定重用数据。

存储器访问成本可包括外部存储器的访问成本和包括在加速器中的多级存储器的访问成本。

加速器的外部存储器的访问成本可大于多级存储器的访问成本。

对于多级存储器中的由处理元件之中的更多数量的处理元件共享的存储器部分，多级存储器的访问成本可增加。

可通过卸载到直接存储器访问(DMA)的扩展来确定硬件资源信息和存储器访问成本中的至少一个，直接存储器访问(DMA)被配置为：控制输入到多级存储器的数据或从多级存储器输出的数据。

确定重用数据的步骤可包括：基于加速器的硬件资源信息确定将被应用于用于执行多个工作负载中的工作负载的数据输入的分块方法；以及基于确定的分块方法来确定重用数据的大小。

确定重用数据的步骤可包括：针对与多级存储器和工作负载中的至少一个对应的神经网络的每个层确定重用数据。

重用数据可被存储在加速器中的多级存储器中，并且可不被发送到加速器的外部存储器。

处理元件中的每个可包括：0级存储器，能够由对应的处理元件访问；0级DMA，被配置为：控制0级存储器的数据输入和输出，并且监视和/或剖析输入到0级存储器的数据或从0级存储器输出的数据；乘法器-累加器(MAC)，被配置为执行与分配给处理元件的多个工作负载中的工作负载有关的操作；以及0级控制器，被配置为控制0级存储器、0级DMA和MAC中的一个或者0级存储器、0级DMA和MAC的组合。