[发明专利]基于最近探索的启发式服务组合方法

摘要

本发明公开了一种基于最近探索的启发式服务组合方法，包括如下步骤：1、将服务组合问题建模为一个六元组马尔可夫决策过程；2、应用基于Q‑learning的启发式学习方法求解六元组马尔可夫决策过程，得到最优策略；3、将最优策略映射为web服务组合的工作流。该方法充分利用学习过程中的学习经验来提高学习速度，学习效率更高。

主权项

1.一种基于最近探索的启发式服务组合方法，其特征在于，包括如下步骤：(1)将服务组合问题建模为一个六元组马尔可夫决策过程；(2)应用基于Q‑learning的强化学习方法求解六元组马尔可夫决策过程，得到最优策略；(3)将最优策略映射为web服务组合的工作流；步骤(1)中将服务组合问题建模为如下六元组马尔可夫决策过程：MDP‑WSC＝＜S；s₀；s_r；A(·)；P；R＞其中S代表从初始状态迁移到终止状态的过程中所能经历的所有状态的集合；s₀是初始状态，表示任何动作还没有发生时的状态，s₀∈S；s_r是终止状态，当系统到达终态时，表明一个完整的服务执行路径已经形成，构建了一个完整的组合服务，s_r∈S；A(·)代表系统在状态s∈S下可以采取的动作的集合；P是状态转移函数；R是奖励函数；所述步骤(2)应用基于Q‑learning的强化学习方法求解六元组马尔可夫决策过程，得到最优策略，包括如下步骤：(21)初始化Q‑learning中学习率σ，折扣率γ，当前状态s＝0，当前时间步长t＝0；随机选择一个服务a作为当前动作；(22)当前时间步长t不为0时，以概率ε应用启发式策略选择新的服务a，以概率1‑ε随机选择新的服务a；(23)执行服务a，记录在状态s下执行当前服务a的回报值r、执行次数c、探索补贴bonus；(24)按照下式更新Q值：Q(s,a)←(1‑σ)*Q(s,a)+σ*(r+bonus+γ*maxQ(s′,a′))，其中Q(s,a)表示在状态动作对＜s,a＞下的Q值，σ为学习率，r为回报值，γ为折扣率，bonus为探索补贴，s′为执行服务a后从当前状态s转移到的后继状态，a'为在状态s′下选择的服务，Q(s′,a′)表示在状态动作对＜s′,a′＞下的Q值；(25)更新当前状态：s＝s′，t＝t+1；当s为终止状态s_r且满足收敛条件时，强化学习结束，得到最优策略；否则转步骤(22)。