[发明专利]一种采用DQN的FPGA任务调度优化方法及系统

权利要求书

1.一种采用DQN的FPGA任务调度优化方法，其特征在于，定义非均匀分布的FPGA片上可重构资源模型，对CLB，BRAM与DSP资源进行建模，将建模结果作为在线任务的放置芯片载体；对在线任务进行特征化表示，使用在线任务可选建模结果作为目标芯片，将在线任务和目标芯片所定义的定长数据作为DQN网络的输入数据，采用DQN的奖励函数作为神经网络的反馈，以DQN更新价值函数作为每一步骤的反馈对奖励函数进行更新；使用DQN和最优最长贴合算法对DQN网络进行联合训练；在每一次的调度事件中找到合适的目标芯片以及最优的放置结果，将在线任务和目标芯片输入训练好的DQN网络，选择奖励值最高的目标芯片作为对应任务的运行芯片，实现任务调度优化。

2.根据权利要求1所述的方法，其特征在于，对CLB，BRAM与DSP资源进行建模具体为：

将FPGA片上资源抽象为二维矩阵，纵坐标以时钟域为单位，横坐标以一个最小可用资源为单位；根据所表示的资源类型不同，分别将二维矩阵内的数值定义为1，2，3，分别表示CLB、BRAM和DSP资源。

3.根据权利要求1所述的方法，其特征在于，在线任务集合为：

T＝{id,clb,bram,dsp,w,h,t_a,t_s,t_d}

其中，id为放置的任务类型标记，clb，bram和dsp分别表示该任务所需的CLB、BRAM和DSP资源数量，w和h为任务对应的矩形形状宽度与高度，t_a为任务到达时刻，t_s为任务的最晚执行时间，t_d为运行时长。

4.根据权利要求1所述的方法，其特征在于，目标芯片为F＝{F₁,F₂,...,F_n}；对于任意一个FPGA F_i,i∈{1,2,...,n}有F_i＝{Cell[w][h],T_i,1,T_i,2,...,T_i,m}，二维数组Cell取值1，2，3，对应FPGA片上资源的模型；T_i,k,k∈{1,2,...,m}表示已有m个任务放置于FPGA i上；对于其中的任意一个任务有T_i,k∈T。

5.根据权利要求1所述的方法，其特征在于，定长数据为基于FPGA-在线任务对的DQN定长多batch输入数据状态空间。

6.根据权利要求1所述的方法，其特征在于，DQN奖励函数为：

其中，α，β和γ为常数；covered_res(t)和needed_res(t)分别表示在t时刻，目标芯片上部署的所有任务占用的资源数量和所需的资源数量；adhesion(t)函数表示在t时刻目标芯片的资源内部碎片大小，res(t)为FPGA片上资源数量，r(t)为当前决策的收益。

7.根据权利要求1所述的方法，其特征在于，为了最大化累计奖励，将状态-动作对(s_t,a)的价值函数定义为在状态s_t下执行动作a后奖励函数的期望：

Q^π(s_t,a)＝E[R(t)|s_t,a]＝E[r(t)+Q^π(s_t+1,a′)|s_t,a]

根据最大化累计奖励函数求解最优的价值函数：

其中，为采用动作a后t+1时刻能够得到的最大收益值，E为期望，r(t)为当前决策的收益，s_t为当前t时刻的状态，a为当前t时刻的动作。