[发明专利]一种采用DQN的FPGA任务调度优化方法及系统

说明书

本发明公开了一种采用DQN的FPGA任务调度优化方法及系统，定义非均匀分布的FPGA片上可重构资源模型，对CLB，BRAM与DSP资源进行建模，将建模结果作为在线任务的放置芯片载体对在线任务进行特征化表示，使用在线任务可选建模结果作为目标芯片，将在线任务和目标芯片所定义的定长数据作为DQN网络的输入数据，采用DQN的奖励函数作为神经网络的反馈，以DQN更新价值函数进行更新；使用DQN和最优最长贴合算法对DQN网络进行联合训练；在每一次的调度事件中找到合适的目标芯片以及最优的放置结果，将在线任务和目标芯片输入训练好的DQN网络，选择奖励值最高的目标芯片作为对应任务的运行芯片，实现任务调度优化。本发明通过定长输入的方式，提高了模型可扩展性。

技术领域

本发明属于电子技术与神经网络推理计算技术领域，具体涉及一种采用DQN的FPGA任务调度优化方法及系统。

背景技术

相较于专用集成电路(Application Specific Integrated Circuit,ASIC)功能固定，不具备动态重配置片上功能的不足，现场可编程门阵列(Field Programmable GateArray,FPGA)通过运行时动态重烧写片上资源的方式，实现实时动态重配置芯片功能，达到不断电在线更新电路的效果，具有高灵活性的特点。因此，FPGA在数据中心加速、软件定义网络、大型网络交换、汽车自动驾驶和物联网计算等领域有着广泛的应用。

FPGA芯片上的资源类型与位置固定，设计的电路各模块(任务)按照布局布线算法放置于不同的芯片位置，占用相应位置的资源，实现各自不同的功能。根据任务数量与规模确定性的不同，运行于FPGA芯片上的任务可分为两种：

1)离线任务，该类任务的数量与规模在运行前已确定，针对该类型任务的布局布线算法优先考虑资源占用，尽量将任务紧凑放置，因为任务数量在运行前确定，除启发式算法外，可以选择更加复杂与耗时的最优化布局布线算法以获得更优的布局结果，而不用担心因算法过渡耗时而导致的任务布局布线失败问题；

2)在线任务，该类任务到来时间未知，因此与离线任务不同的是，该类任务应采用简单快速的布局布线算法，以免导致在线任务错过最晚执行时间而导致任务布局布线失败，进而影响整个电路功能。

同时，随着应用领域的迅速发展，单一FPGA已不能满足电路规模需求，多FPGA协同工作已成为主流，如何对FPGA芯片进行片选，设置合理的任务调度策略，将在线任务放置在合适的FPGA芯片上，并且在选定目标芯片后进行合理布局，是NP难问题。

因此，合理的多FPGA在线任务调度策略与片上布局布线算法是减少片上资源浪费，减少任务总耗时的关键。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种采用DQN的FPGA任务调度优化方法及系统，为每个FPGA在线任务确定合适的调度顺序与FPGA片选策略，从而有效提高FPGA资源利用率，减少任务的总耗时。

本发明采用以下技术方案：

一种采用DQN的FPGA任务调度优化方法，其特征在于，定义非均匀分布的FPGA片上可重构资源模型，对CLB，BRAM与DSP资源进行建模，将建模结果作为在线任务的放置芯片载体；

对在线任务进行特征化表示，使用在线任务可选建模结果作为目标芯片，将在线任务和目标芯片所定义的定长数据作为DQN网络的输入数据，采用DQN的奖励函数作为神经网络的反馈，以DQN更新价值函数作为每一步骤的反馈对奖励函数进行更新；使用DQN和最优最长贴合算法对DQN网络进行联合训练；

在每一次的调度事件中找到合适的目标芯片以及最优的放置结果，将在线任务和目标芯片输入训练好的DQN网络，选择奖励值最高的目标芯片作为对应任务的运行芯片，实现任务调度优化。

具体的，对CLB，BRAM与DSP资源进行建模具体为：