[发明专利]基于强化学习的服务组合方法

说明书

本发明公开了一种基于强化学习的服务组合方法，所述服务组合满足动态约束，其包括如下步骤：根据用户的功能性需求建立工作流，为工作流中的每个任务选取候选服务，对所有候选服务的QoS非功能属性进行数据预处理；根据建立的工作流结构搭建基于强化学习的自适应模型；每一次训练自适应模型时，均将根据建立工作流结构随机生成的训练集、用户对QoS非功能属性的偏好和约束输入自适应模型中，循环迭代若干次训练，以得到收敛的自适应模型；将工作流中每个任务的候选服务属性、用户对QoS非功能属性的偏好和约束输入收敛的自适应模型中，输出合适的工作流候选服务序列。本发明的基于强化学习的服务组合方法弥补了传统Q‑learning的不足，大大减少了服务组合过程中耗费的资源。

技术领域

本发明涉及网络服务技术领域，更具体地涉及基于强化学习的服务组合方法。

背景技术

在SOA(面向服务的架构)体系结构中，软件打包为单独的Web服务，使用者可以组合这些服务向用户提供新服务。选择和组合不同的Web服务以满足用户日益多样化的需求已经成为一个突出的问题。实际上，许多Web服务具有相同的功能，但它们的QoS(Qualityof Service，服务质量)非功能属性(如响应时间、吞吐量、价格、调用成功率等)各不相同。如何选择合适的Web服务来同时满足用户的功能需求和用户对QoS非功能属性的约束是一个关键的问题，动态约束的服务组合问题(简称CSSC)也就成了一个迫在眉睫的需要解决的问题。

由于Internet的动态性，Web服务的可用性及其QoS非功能属性可能会不时发生变化。另一方面，SOA应用程序的功能需求和用户的QoS非功能属性约束也变得越来越复杂。传统的解决方案通常通过两个阶段来解决CSSC问题：服务选择和服务执行。在服务选择阶段，选择并组合满足功能需求和用户QoS约束的服务。在服务执行阶段，调用组合好的服务来处理用户的请求。在这样的解决方案中有一个假设:一旦选择了一个服务并在一个服务组合中进行组合，该服务及其QoS非功能属性值就不应该改变。然而，由于QoS属性的波动性和主机服务器行为的不确定性，这种假设在实践中并不总是成立。使得，在选择阶段为服务组合选择的最佳服务到了执行阶段可能不是最佳的，甚至在服务执行阶段不可用，而此时用户便需要从头开始重新选择所有任务的最佳候选服务，这无疑会消耗额外的资源，导致糟糕的用户体验。

近年来，针对动态环境下的CSSC问题进行了大量的研究，包括随机模型、MDP模型与HTN编程模型的结合、博弈论等。但这些方法存在成本高、速度慢等缺点。有研究者提出使用Q-learning模型来解决动态CSSC问题。该方法的主要局限性在于Q表的状态爆炸问题。为了减少大量的状态，便将所有的连续状态划分为一个给定数量的离散状态级。使得，非功能QoS属性被定义在一个粗糙的范围中。

因此，针对上述问题，有必要提供一种改进的基于强化学习的服务组合方法以克服上述缺陷。

发明内容

本发明的目的是提供一种基于强化学习的服务组合方法，本发明的基于强化学习的服务组合方法弥补了Q-learning的不足，可以满足大规模的服务组合问题，并具有泛化能力，当遇到相同结构的服务组合问题时，不需要重新训练，大大减少了服务组合过程中耗费的资源。

为实现上述目的，本发明提供一种改进的基于强化学习的服务组合方法，所述服务组合满足动态约束，其包括如下步骤：

根据用户的功能性需求建立工作流，为工作流中的每个任务选取候选服务，对所有候选服务的QoS非功能属性进行数据预处理；

根据建立的工作流结构搭建基于强化学习的自适应模型；

每一次训练所述自适应模型时，均根据建立工作流结构随机生成的训练集、用户对QoS非功能属性的偏好和约束输入所述自适应模型中，循环迭代若干次训练，以得到收敛的自适应模型；

将工作流中每个任务的候选服务属性、用户对QoS非功能属性的偏好和约束输入所述收敛的自适应模型中，输出合适的工作流候选服务序列。