[发明专利]AI加速卡的电压频率管控方法、装置及AI硬件加速平台

说明书

本发明公开了一种AI加速卡的电压频率管控方法、装置及AI硬件加速平台，电压频率管控方法包括：根据任务端下发的任务确定任务执行子系统对应的资源组信息；根据任务执行子系统的资源组信息，从频率电压映射表存储单元中匹配并获取初始运行频率电压映射表；其中频率电压映射表存储单元中存储有多个频率电压映射表；将初始运行频率电压映射表下发给电源管理MCU芯片，以控制任务执行子系统按照初始运行频率电压映射表运行；在任务执行子系统运行过程中周期性获取实际负载特征信息，并根据实际负载特征信息切换匹配给任务执行子系统的频率电压映射表，优化了AI加速卡的能耗比，提升了AI加速卡的性能，提高了硬件的有效算力。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种AI加速卡的电压频率管控方法、装置及AI硬件加速平台。

背景技术

随着人工智能产业的迅速发展，使用AI加速卡来进行算法加速的应用场景越来越多。为了响应数字经济下的新型数据中心的建设目标，减小电源使用效率(PUE，PowerUsage Effectiveness)值，节省能源消耗，因此AI加速卡的性能与能耗参数显得尤为重要。

插有AI加速卡的硬件加速平台基于标定的电压频率曲线管控AI加速卡的电压频率。但是，目前的AI硬件加速平台在电压频率管控时存在以下不足：1、部分AI硬件加速平台上层软件无法感知到下发任务的负载。2、资源组不支持多套电压频率映射表以适应不同负载与使用资源，从而无法达到最优能耗比。3、由于使用一个保守的电压频率映射表，当前大部分推理模型均触及到了热设计功耗(TDP，Thermal Design Power)，导致硬件出现了降频，损失了性能。因此，如何优化能耗比，提升AI加速卡的性能，提高硬件的有效算力，是本领域技术人员目前需要解决的问题。

发明内容

本发明实施例提供了一种AI加速卡的电压频率管控方法、装置及AI硬件加速平台，以优化AI加速卡的能耗比，提升AI加速卡的性能，提高硬件的有效算力。

根据本发明的一方面，提供了一种AI加速卡的电压频率管控方法，包括：

获取任务端下发的任务后，根据任务端下发的任务确定任务执行子系统对应的资源组信息；其中，所述资源组信息至少包括所使用的硬件资源数量、应用模型类型、运行前静态温度和应用数据类型；

根据所述任务执行子系统的资源组信息，从频率电压映射表存储单元中匹配并获取初始运行频率电压映射表；其中所述频率电压映射表存储单元中存储有多个频率电压映射表；

将所述初始运行频率电压映射表下发给电源管理MCU芯片，以通过电源管理MCU芯片控制对应的任务执行子系统按照匹配到的初始运行频率电压映射表运行；

在所述任务执行子系统运行过程中周期性实时获取不同时刻的实际负载特征信息，并在实时获取实际负载特征信息后，根据所述实际负载特征信息切换匹配给所述任务执行子系统的频率电压映射表，以动态管控所述任务执行子系统运行的电压和/或频率；其中不同任务执行子系统可同时运行。

可选的，所述实际负载特征信息包括子系统的功耗、功耗变化斜率、运行温度和内部IP运行状况中的至少一种；

根据所述实际负载特征信息切换匹配给所述任务执行子系统的频率电压映射表，以动态调节所述任务执行子系统运行的电压和/或频率，包括：

根据所述任务执行子系统的功耗、功耗变化斜率、运行温度和内部IP运行状况中的至少一种，并结合所述资源组信息，从所述频率电压映射表存储单元中重新匹配并获取频率电压映射表；

将重新匹配到的频率电压映射表下发给电源管理MCU芯片，以通过电源管理MCU芯片控制所述任务执行子系统按照重新匹配到的频率电压映射表运行。

可选的，所述AI加速卡的电压频率管控方法还包括：