[发明专利]基于强化学习的异构多核嵌入式系统能耗优化调度方法

说明书

本发明公开了一种基于强化学习算法的异构多核嵌入式系统能耗优化调度方法。在硬件方面，在每个处理器上装载一个DVFS调节器，通过调节各处理器工作电压，改变各处理器硬件特性，动态构建出匹配软件特性的硬件平台；在软件方面，针对传统启发式算法(遗传算法、退火算法等)或存在局部搜索能力不足或存在全局搜索能力不强等缺点，探索性地运用机器学习领域的Q‑Learning算法来寻找能耗最优化调度解。Q‑Learning算法通过不断试错以及与环境交互反馈的方式，可兼顾全局搜索和局部搜索的性能，从而实现比传统启发式算法更优的搜索效果。上千组实验表明，Q‑Learning算法相较于传统GA算法，能耗降低率可达6％～32％。

技术领域

本发明属于并行和分布式系统技术领域，涉及一种异构多核嵌入式系统能耗优化调度方法，具体涉及一种基于强化学习Q-Learning算法的异构多核嵌入式系统能耗优化调度方法。

技术背景

随着电子科技的快速发展，图像处理、高清电视、电子游戏等计算复杂度较高的应用逐步运用于嵌入式设备中，对嵌入式设备的性能提出了越来越高的要求。嵌入式设备的性能可通过提升主频而提高，然而，主频的提升将快速地增加处理器的工作能耗([文献1])，从而缩短嵌入式设备的工作寿命。为优化嵌入式系统的能耗，多核嵌入式技术被提出并广泛应用([文献2])。此技术在嵌入式设备上装载多个处理器，通过多个处理器的并行运行，在避免大幅提高单个处理器工作主频的同时，极大地增强嵌入式设备的性能，从而降低嵌入式设备的工作能耗。由于多核调度被证明为NP-hard问题，启发式算法通常被应用于多核调度问题的求解([文献3、4])。然而，传统的启发式算法具有局部搜索能力不足或容易陷入局部最优等缺点，例如遗传算法无法利用计算中的反馈信息来调整自己的搜索方向，且存在局部搜索能力差的问题，容易陷入局部最优。因此，改进传统启发式算法或寻找一种更高效的新型调度算法，对于多核嵌入式技术的发展具有重要意义。此外，实时性也是嵌入式系统的重要性能因素，因此，能耗优化策略的实施需在保证实时性前提下进行。由于DVFS低功耗技术已被广泛应用于嵌入式系统中，且取得了良好的能耗优化效果([文献5])，因此，在保证实时性能前提下，结合DVFS低功耗技术，研究针对异构多核嵌入式系统的高能效调度算法，对于降低嵌入式设备能耗，促进嵌入式技术的发展与应用具有重要意义。

[文献1].Das,A.,Kumar,A.,Veeravalli,B.(2016).Reliability and energy-aware mapping and scheduling of multimedia applications on multiprocessorsystems.IEEE Transactions on ParallelDistributed Systems,27(3),869-884.

[文献2].Li,Y.,Niu,J.,Atiquzzaman,M.,Long,X.(2016).Energy-awarescheduling on heterogeneous multi-core systems with guaranteedprobability.Journal of ParallelDistributed Computing,103(C),64-76.

[文献3].Mahmood，A.，Khan，S.，Albalooshi，F.，Awwad，N.(2017).Energy-awarereal-time task scheduling in multiprocessor systems using a hybrid geneticalgorithm，6(2)，40.

[文献4].Dai，M.，Tang，D.，Giret，A.，Salido，M.A.，Li，W.D.(2013).Energy-efficient scheduling for a flexible flow shop using an improved genetic-simulated annealing algorithm.RoboticsComputer Integrated Manufacturing，29(5)，418-429.