[发明专利]基于强化学习的服务组合方法

权利要求书

1.一种基于强化学习的服务组合方法，所述服务组合满足动态约束，其特征在于，包括如下步骤：

根据用户的功能性需求建立工作流，为工作流中的每个任务选取候选服务，对所有候选服务的QoS非功能属性进行数据预处理；其中，所述QoS的非功能属性包括加法属性、乘法属性和最大值属性；所述数据预处理包括对所有候选服务的非功能QoS属性进行归一化处理，以使每个候选服务的非功能QoS属性均变为0到1之间的值；

根据建立的工作流结构搭建基于强化学习的自适应模型；

每一次训练所述自适应模型时，均根据建立工作流结构随机生成的训练集、用户对QoS非功能属性的偏好和约束输入所述自适应模型中，循环迭代若干次训练，以得到收敛的自适应模型；

将工作流中每个任务的候选服务属性、用户对QoS非功能属性的偏好和约束输入所述收敛的自适应模型中，输出合适的工作流候选服务序列。

2.如权利要求1所述的基于强化学习的服务组合方法，其特征在于，还包括步骤：

判断用户的QoS非功能属性约束是否合理，若不合理则进行约束合理性协商，协商失败则输出用户约束不合理。

3.如权利要求2所述基于强化学习的服务组合方法，其特征在于，计算每一个任务所有候选服务关于该属性的期望μ和标准差σ，求出工作流关于该属性的总期望和标准差如下

其中n表示工作流中的任务数目。

4.如权利要求3所述的基于强化学习的服务组合方法，其特征在于，根据正态分布的3σ原则，用户约束应满足下式：

μ_cs-2σ_cs＜Constraint＜μ_cs+2σ_cs。

5.如权利要求1所述的基于强化学习的服务组合方法，其特征在于，训练所述自适应模型具体为，根据工作流的结构以构造随机数据集作为训练集，采用两个神经网络来进行训练，且每隔一设定时间同步两个神经网络的参数。

6.如权利要求5所述的基于强化学习的服务组合方法，其特征在于，将探索环境得到的数据储存起来，采用随机采样样本更新深度神经网络的参数。

7.如权利要求6所述的基于强化学习的服务组合方法，其特征在于，所述自适应模型具有两个神经网络，每个神经网络的结构相同，都有三层结构，包括如下步骤：

将当前的状态s转换成特征向量输入第一层，以使所述自适应模型在第二层得到两组值；

在第三层将第二层得到的两组值相结合得到每一个候选服务的综合评分；

根据每一个候选服务的综合评分选取合适的候选服务。

8.如权利要求1所述的基于强化学习的服务组合方法，其特征在于，所述循环迭代若干次训练，以得到收敛的自适应模型具体还包括：

每一次循环都根据工作流结构随机生成训练集，每循环训练设定次数就保存一次自适应模型；

在保存下来的自适应模型上运行同一个测试集，并通过不同训练阶段得到的自适应模型在同一个测试集上的运行效果分析自适应模型的学习历程；

以收敛后的自适应模型作为最终的自适应模型，应用到实际的服务组合问题中。

9.如权利要求8所述的基于强化学习的服务组合方法，其特征在于，根据工作流的结构和单个任务的最大候选服务数目，建立内部值为0到1之间浮点数的矩阵，每一次训练时均随机生成一个新的矩阵作为训练集。