[发明专利]线程分配方法、装置、计算机设备及存储介质

权利要求书

1.一种线程分配方法，其特征在于，包括：

根据异构系统的线程配置目标确定预设强化学习模型的输入数据；

将所述输入数据输入所述预设强化学习模型，执行所述预设强化学习模型以得到输出数据；

根据所述预设强化学习模型的输出数据确定线程分配信息；

根据所述线程分配信息对异构系统进行线程配置。

2.根据权利要求1所述的方法，其特征在于，所述根据异构系统的线程配置目标确定预设强化学习模型的输入数据，包括：

根据每个异构硬件中的平均线程分配数量，确定初始状态S；

根据每个异构硬件中线程的增减数量，确定动作集合，所述动作集合包括多个线程调整动作α，每个线程调整动作表示某个异构硬件中线程数量增加一次或减少一次；

将强化学习算法中的奖励配置为将异构硬件当前提供的平均帧率与异构硬件上一次提供的平均帧率的帧率差值R。

3.根据权利要求2所述的方法，其特征在于，所述预设强化学习模型为双深度Q网络DDQN模型，所述DDQN模型包括当前DQN网络和目标DQN网络，所述输入数据还包括：配置迭代轮数T、衰弱因子γ、探索率∈、批量梯度下降的样本数m、以及目标DQN网络的更新频率C。

4.根据权利要求3所述的方法，其特征在于，将所述输入数据输入所述预设强化学习模型，执行所述预设强化学习模型以得到输出数据，包括：

随机初始化当前DQN网络的所有参数w，根据所述当前DQN网络的所有参数w初始化目标DQN网络的所有参数w′，清空经验回放集合D；

根据所述迭代轮数T进行迭代，在每个迭代回合中执行下述步骤：

A)根据所述初始状态S确定第一特征向量φ(S)；

B)在当前DQN网络中将所述第一特征向量φ(S)作为输入，得到所述当前DQN网络输出的全部线程调整动作α对应的多个第一Q值输出；使用探索率∈-贪婪法策略根据所述多个第一Q值输出确定第一线程动作A；

C)在所述初始状态S执行所述第一线程动作A，得到更新状态S′对应的特征向量φ(S′)、帧率差值R以及是否中止状态is_end；

D)将所述初始状态S、所述第一线程动作A、所述帧率差值R、所述更新状态S′对应的特征向量φ(S′)以及所述是否中止状态is_end组成的五元组保存至所述经验回放集合D；

E)将所述更新状态S′赋值给所述初始状态S；

F)从所述经验回放集合D中根据采样数量m进行采样；根据当前采集的五元组中的是否中止状态is_end的内容，确定第二Q值输出y_j的计算方式，根据所述计算方式得到所述第二Q值输出y_j；

G)使用均方差损失函数，通过神经网络的梯度反向传播更新所述当前DQN网路中的所有参数w；

H)根据配置迭代轮数T和目标DQN网络的更新频率C确定是否更新；若更新，则将所述当前DQN网路中的所有参数w赋值给所述目标DQN网络的所有参数w′；

I)如果所述更新状态S′满足终止条件，则迭代结束，否则返回执行步骤B)。

5.根据权利要求4所述的方法，其特征在于，根据当前采集的五元组中的是否中止状态is_end的内容，确定第二Q值输出y_j计算方式，根据所述计算方式得到所述第二Q值输出y_j，包括：

如果当前采集的五元组中的是否中止状态is_end的内容为真，则将当前采集的五元组中的帧率差值R_j作为第二Q值输出y_j；

如果当前采集的五元组中的是否中止状态is_end的内容为否，则将当前采集的五元组中的特征向量φ(S′_j)、调整动作α和所述当前DQN网络的所有参数w输入至当前DQN网络，获取所述当前DQN网络输出的Q值数值最大时对应的第二动作α′；

将当前采集的五元组中的特征向量φ(S′_j)、所述第二动作α′以及所述目标DQN网络的所有参数w′输入至目标DQN网络，得到第三Q值输出；根据所述衰弱因子γ、所述第三Q值输出以及当前采集的五元组中的帧率差值确定第二Q值输出y_j。