[发明专利]结合高斯过程与强化学习的服务组合方法

权利要求书

1.一种结合高斯过程与强化学习的服务组合方法，其特征在于，包括如下步骤：

(1)将服务组合问题建模为如下四元组马尔可夫决策过程：

M＝S,A,P,R

其中S是环境中有限状态的集合；A是可调用的动作的集合，A(s)表示在状态s下可进行的动作的集合；P是描述MDP状态转移的函数，P(s′|s,a)表示在状态s下调用动作a后转移到状态s′的概率；R是回报值函数，R(s,a)表示在状态s下调用动作a所得的回报值；

(2)应用基于Q-learning的强化学习方法求解四元组马尔可夫决策过程，得到最优策略；

(3)将最优策略映射为web服务组合的工作流；

所述步骤(2)应用基于Q-learning的强化学习方法求解四元组马尔可夫决策过程，得到最优策略，包括如下步骤：

(21)将状态动作对z＝s,a作为输入，对应的Q值Q(z)作为输出，建立Q值高斯预测模型；

(22)初始化Q-learning中学习率σ，折扣率γ，贪心策略概率ε，当前状态s_t＝0，当前时间步长t＝0；

(23)用概率为ε的贪心策略选择当前服务a_t并执行；

(24)记录在当前状态s_t下执行当前服务a_t的回报值r_t和执行当前服务a_t后的状态s_t+1；根据下式计算在状态动作对z_t＝s_t,a_t下的Q值：

其中Q(z_t)为在状态动作对z_t＝s_t,a_t下的Q值，σ为学习率，r_t为回报值，γ为折扣率，s_t+1为执行服务a_t后从当前状态s_t转移到的后继状态，a_t+1为在状态s_t+1下选择的服务，Q(s_t+1,a_t+1)表示在状态动作对s_t+1,a_t+1下的Q值；

(25)按照高斯预测模型更新Q值：

其中I为单位矩阵，ω_n为不确定性参数，Z为历史状态动作对的集合，为与Z对应的历史Q值的集合，K(Z,Z)为历史状态动作对之间的协方差矩阵，其第i行j列元素为k(z_i,z_j)，k(·)为核函数；K(Z,z_t+1)为历史状态动作对与新输入的状态动作对z_t+1之间的协方差矩阵；

根据状态动作对z_t+1＝s_t+1,a_t+1以及对应的Q值Q(z_t+1)更新高斯预测模型；

(26)更新当前状态：s_t＝s_t+1，当s_t为终止状态且满足收敛条件时，强化学习结束，得到最优策略；否则转步骤(23)。

2.根据权利要求1所述的结合高斯过程与强化学习的服务组合方法，其特征在于，高斯预测模型中的核函数k(·)为高斯核函数：

其中σ_k为高斯核函数的宽度。

3.根据权利要求1所述的结合高斯过程与强化学习的服务组合方法，其特征在于，步骤(26)中所述的收敛条件为：Q值的变化小于Q值门限Q_th，即：|Q(z_t)-Q(z_t+1)|Q_th。