[发明专利]资源的分配处理方法、装置、设备及存储介质

权利要求书

1.一种资源的分配处理方法，其特征在于，包括：

获取当前资源状态及预设决策集合中各决策当前被采用次数；

基于所述当前资源状态及所述预设决策集合中各决策当前被采用次数，采用预设决策选择规则确定目标资源分配决策；

根据所述目标资源分配决策进行资源的分配处理；

其中，所述基于所述当前资源状态及所述预设决策集合中各决策当前被采用次数，采用预设决策选择规则确定目标资源分配决策，包括：

遍历所述预设决策集合中的决策，获取使Q(S,a)-log(count(S,a))最大的决策a作为所述目标资源分配决策；

其中，S表示当前资源状态，a表示决策，Q(S,a)表示当前资源状态S下采用决策a的Q值，即累积奖励值，count(S,a)表示决策a当前被采用次数，即在与当前资源状态一致的资源状态下采用了决策a的次数，log(count(S,a))表示对count(S,a)取对数。

2.根据权利要求1所述的方法，其特征在于，所述当前资源状态包括当前时间状态，在根据所述目标资源分配决策进行资源的分配处理之后，所述方法还包括：

获取当前Q值矩阵，当前Q值矩阵中每个Q值表征了相应时间状态采用相应决策的累积奖励值；

根据所述当前Q值矩阵中，所述当前资源状态的后一资源状态对应的最大Q值，获取所述当前时间状态下采用所述目标资源分配决策所对应的新Q值；

根据所述新Q值更新所述Q值矩阵，并将所述目标资源分配决策的当前被采用次数加1获得所述目标资源分配决策的新当前被采用次数，所述目标资源分配决策的当前被采用次数为在与所述当前时间状态一致的历史时间状态采用所述目标资源分配决策的次数。

3.根据权利要求2所述的方法，其特征在于，根据所述当前Q值矩阵中，所述当前资源状态的后一资源状态对应的最大Q值，获取所述当前时间状态下采用所述目标资源分配决策所对应的新Q值，包括：

获取所述当前时间状态采用所述目标资源分配决策所对应的决策奖励R；

根据所述当前Q值矩阵中，所述当前资源状态的后一资源状态对应的最大Q值、所述决策奖励R及预设奖励传递参数γ，确定所述新Q值。

4.根据权利要求3所述的方法，其特征在于，获取所述当前时间状态采用所述目标资源分配决策所对应的决策奖励R，包括：

根据决策后的新资源状态，确定所述决策奖励R。

5.根据权利要求4所述的方法，其特征在于，所述新资源状态包括新资源配置状态、新资源消耗状态及新时间状态，所述新资源配置状态包括新网络带宽及新磁盘容量，所述新资源消耗状态包括新网络负载及新磁盘消耗；

所述根据决策后的新资源状态，确定所述决策奖励R，包括：

根据所述新网络带宽、所述新磁盘容量、所述新网络负载及所述新磁盘消耗，采用如下公式确定所述决策奖励R：

R(S',a)＝-(nb+ds)-([nl*10＞nb]+[dc*2＞ds])*P

其中，S'表示所述新资源状态，a表示采取的目标资源分配决策，nb表示新网络带宽,ds表示新磁盘容量，nl表示新网络负载，dc表示新磁盘消耗，P表示预设程度参数，[nl*10＞nb]表示nl*10＞nb是真或假，真为1，假为0；[dc*2＞ds]表示dc*2＞ds是真或假，真为1，假为0。

6.根据权利要求3所述的方法，其特征在于，所述根据所述当前Q值矩阵中，所述当前资源状态的后一资源状态对应的最大Q值、所述决策奖励R及预设奖励传递参数γ，确定所述新Q值，包括；

根据所述当前Q值矩阵中，所述当前资源状态的后一资源状态对应的最大Q值、所述决策奖励R及预设奖励传递参数γ，采用如下公式确定所述新Q值：

Q_new＝R+Q'_max*γ

其中，Q_new表示所述新Q值，Q'_max表示所述后一资源状态对应的最大Q值。