[发明专利]一种深度强化学习的动态电源管理方法及系统

说明书

本发明涉及一种深度强化学习的动态电源管理方法及系统，属于电源管理领域，包括：构建深度强化学习控制模型；以降低电源能耗为目标，以从预设系统采集的系统状态为输入，电源执行动作为输出训练深度强化学习控制模型，获得电源控制模型；系统状态包括CPU状态参数、A/D转换芯片状态参数、系统总功耗和电源总消耗功率；预设系统包括CPU和A/D转换芯片；采用电源控制模型对待管理系统进行动态电源管理。本发明降低了电源能耗。

技术领域

本发明涉及电源管理技术领域，特别是涉及一种深度强化学习的动态电源管理方法及系统。

背景技术

动态电源管理(DPM)技术通过选择性地将系统组件置于低功耗状态，帮助系统高效利用能源。一个DPM系统模型由服务提供者、服务队列、服务请求者和电源管理器组成。电源管理器(PM)根据对工作负载的观察实现一个控制过程(或策略)。它可以被建模为一个电源状态机，每个状态都由功耗和性能的水平来表征。此外，状态转换具有功耗和延迟成本。当一个组件处于低功耗状态时，它将变得不可用，直到它被切换到有源状态。

针对低温环境下嵌入式系统，芯片微控制系统对电源供电系统控制的要求更为严苛，导致目前基于先验经验的刚性电源控制算法已经无法对电源能耗进行更加智能精准的控制。

发明内容

本发明的目的是提供一种深度强化学习的动态电源管理方法及系统，降低了电源能耗。

为实现上述目的，本发明提供了如下方案：

一种深度强化学习的动态电源管理方法，包括：

构建深度强化学习控制模型；

以降低电源能耗为目标，以从预设系统采集的系统状态为输入，电源执行动作为输出训练所述深度强化学习控制模型，获得电源控制模型；所述系统状态包括CPU状态参数、A/D转换芯片状态参数、系统总功耗和电源总消耗功率；所述预设系统包括CPU和A/D转换芯片；

采用所述电源控制模型对待管理系统进行动态电源管理。

可选地，所述CPU状态参数包括CPU功耗、CPU电压和CPU使用频率；所述A/D转换芯片状态参数包括A/D转换芯片功耗、A/D转换芯片电压和A/D转换芯片使用频率。

可选地，所述电源执行动作包括工作、待机、断电和延时。

可选地，所述深度强化学习控制模型为基于U-net网络模型框架的全连接网络。

可选地，还包括：在进行所述深度强化学习控制模型训练时，将采集的设定组数的系统状态随机排列后依次输入所述深度强化学习控制模型，一个电源执行动作对应一组系统状态。

可选地，还包括：在进行所述深度强化学习控制模型训练时，针对每个电源执行动作进行打分，所述打分为电源执行动作对应的电源总消耗功率与系统总功耗的比值，将所述打分作为所述深度强化学习控制模型训练的收敛条件。

可选地，所述预设系统包括嵌入式系统和芯片微控制系统。

可选地，还包括：

通过在所述预设系统的CPU选择电路上连接电压检测电阻旁路和电流检测电阻旁路，获得CPU电流和CPU电压；

通过在CPU的激活单元加入缓冲器和反相器统计CPU使用频率；

根据CPU电流、CPU电压和CPU使用频率确定CPU功耗。

本发明还公开了一种深度强化学习的动态电源管理系统，包括：

深度强化学习控制模型构建模块，用于构建深度强化学习控制模型；