[发明专利]结合高斯过程与强化学习的服务组合方法

说明书

本发明公开了一种结合高斯过程与强化学习的服务组合方法，包括如下步骤：1、将服务组合问题建模为一个四元组马尔可夫决策过程；2、应用基于Q‑learning的强化学习方法求解四元组马尔可夫决策过程，得到最优策略；其中通过建立Q值高斯预测模型来对Q值进行更新；3、将最优策略映射为web服务组合的工作流。该方法使用高斯过程对Q值的学习进行建模，从而使其具有更好的精确性和泛化性。

技术领域

本发明涉及一种利用计算机对Web服务组合的方法，属于人工智能领域。

背景技术

随着计算机技术的发展，软件系统的需求越来越复杂多变，再加上互联网和信息技术的发展，逐渐催生出了一种面向服务的软件架构(Service-Oriented Architecture)：将实现了某些功能的软件或组件置于互联网的环境中作为web服务，用户可以通过某种消息协议和web服务通信，从而使用其功能。最后通过组合多种web服务，构建满足需求的新的软件系统。目前常见的web服务有天气服务，地图定位服务等等。

对于某一功能，一般会有不同服务提供者提供的功能类似，但服务质量(Qualityof Service,QoS)有所差别的多个服务，能满足某功能的一类服务称为抽象服务，多个满足该功能的具体服务称为该抽象服务的候选服务。对于一个用户需求，如何从多个候选服务中选择出质量最优的服务，并且最终得出服务的最优组合，便是服务组合问题，根据不同服务的QoS属性来进行服务的选择和组合优化称为QoS感知的服务组合。由于互联网环境具有高度的动态性，某个服务的QoS属性可能会随着时间和环境的变化而发生波动或改变，因此服务组合方法需要具有一定的自适应性，能够应对环境变化带来的影响。同时，由于候选服务不断增多，业务需求也越来越复杂，一个复杂的用户需求往往包含多个抽象服务，以及相应的候选服务，因此服务组合方法也需要能够面对这种大规模服务组合问题的挑战。基于以上两点问题，部分学者提出了基于马尔科夫决策过程(Markov Decision Processes,MDP)和强化学习的服务组合方法。MDP是一种决策规划技术，在服务组合中，将当前网络环境和上下文建模为MDP中的状态，将当前状态下可供选择的多个候选服务建模为MDP中可进行的多个动作，在执行某个动作后，便转移到新的状态，从而进行下一轮的选择，直到最终完成整个服务组合。使用MDP模型对服务组合过程进行建模后，便可以将探索最优的服务组合问题转化为MDP模型的求解问题，从而进一步使用强化学习方法。强化学习方法是求解MDP模型的一种有效方法，尤其是在服务组合问题的大规模动态环境下，强化学习通过与环境的迭代交互进行学习，天然的具有自适应性，能够很好的应对网络环境下的服务组合问题。在传统强化学习算法Q-learning中，Q值通过值表记录，缺乏泛化能力，学习的结果也不够准确，受噪声影响较大。

发明内容

发明目的：针对现有技术中存在的问题，本发明公开了一种结合高斯过程与强化学习的服务组合方法，使用高斯过程对Q值的学习进行建模，从而使其具有更好的精确性和泛化性。

技术方案：本发明采用的技术方案如下：

一种结合高斯过程与强化学习的服务组合方法，包括如下步骤：

(1)将服务组合问题建模为一个四元组马尔可夫决策过程；

(2)应用基于Q-learning的强化学习方法求解四元组马尔可夫决策过程，得到最优策略；

(3)将最优策略映射为web服务组合的工作流。

具体地，步骤(1)中将服务组合问题建模为如下四元组马尔可夫决策过程：

M＝S,A,P,R

其中S是环境中有限状态的集合；A是可调用的动作的集合，A(s)表示在状态s下可进行的动作的集合；P是描述MDP状态转移的函数，P(s′|s,a)表示在状态s下调用动作a后转移到状态s′的概率；R是回报值函数，R(s,a)表示在状态s下调用动作a所得的回报值。