[发明专利]基于平均强化学习和高斯过程回归的云作业接入控制方法

摘要

本发明公开一种基于平均强化学习和高斯过程回归的云作业接入控制方法，并针对调度过程中存在的连续状态‑动作空间而导致的最优策略生成过慢问题，采用高斯过程回归进行平均回报值和最优策略的逼近，大幅度减少了得到最优策略的学习迭代时间，提高了云资源的利用率。

主权项

一种基于平均强化学习和高斯过程回归的云作业接入控制方法，其特征在于，包括：准备阶段：定义状态空间：将云环境资源池中的虚拟机数量定义为平均强化学习的状态空间；定义动作空间：动作空间中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业；定义回报函数：将用户愿意支付的费用定义为回报函数；执行阶段：第一步：初始化ρ和Q(s,a)，其中ρ表示平均回报，Q(s,a)为二维表格，行s为系统状态，列a为动作空间；第二步：设置更新步长，执行迭代；第三步：将变量i设置为0，将s设置为当前状态；第四步：从动作空间a中选择动作；第五步：执行选择的动作，得到当前状态的立即回报值r和下一个系统状态s’；第六步：按式Q(s,a)←Q(s,a)+α*[r‑ρ+max_a'Q(s',a')‑Q(s,a)]更新Q(s,a),其中，a’代表系统状态s’下的动作空间，α∈(0,1)代表学习速率；第七步：判断是否满足Q(s,a)＝max_aQ(s,a)，若是则更新平均回报ρ然后转第八步，若否则直接转第八步；第八步：令i＝i+1；第九步：若i小于更新步长，令s＝s’，转至第二步，若i不小于更新步长，则转至第十步；第十步：将Q(s,a)表格中的数据作为输入，使用高斯过程进行回归操作，得到回归结果；第十一步：使用第十步得到的回归结果修改Q(s,a)表格；第十二步：将第七步得到的平均回报ρ作为输入，使用高斯过程进行回归操作，得到回归结果；第十三步：使用第十二步得到的回归结果修改平均回报ρ；第十四步：转至第二步。