[发明专利]一种虚拟机网络部署方案的决策模型训练方法

权利要求书

1.一种虚拟机网络部署方案的决策模型训练方法，基于强化学习框架，所述方法包括：

监测当前决策状态，得到第一状态信息；其中，将当前决策状态定义为：设备网络中每个服务器当前的可用硬件资源的大小，当前待部署的虚拟机网络中每个虚拟机所诉求的硬件资源的大小；

将第一状态信息输入待训练的决策模型，从备选部署方案集合中选择一个备选部署方案；

采用选择的该备选部署方案，向设备网络中部署当前待部署的虚拟机网络；其中，若该备选部署方案指定的用于部署每个虚拟机的服务器的可用硬件资源的大小，大于或等于该虚拟机所诉求的硬件资源的大小，则部署成功，否则部署失败，并且，若部署成功，则消耗设备网络中至少部分服务器当前的可用硬件资源的大小；

重新确定设备网络中每个服务器当前的可用硬件资源的大小，将当前待部署的虚拟机网络重新设定为下一个待部署的虚拟机网络；之后，再次监测当前决策状态，得到第二状态信息；

确定正相关于设备网络的可用硬件资源的大小变化的奖励值；

基于所述第一状态信息、所述第二状态信息、所述奖励值，训练所述决策模型。

2.如权利要求1所述方法，其中，设备网络中每个服务器当前的可用硬件资源的大小，包括：

设备网络中每个服务器当前的可用计算资源大小、可用数据转发资源的大小、可用带宽资源的大小；可用带宽资源包括：该服务器与设备网络中每个其他服务器之间的通信链路的带宽之和；可用数据转发资源的大小为单位时间内可调用的数据转发资源的大小；

其中，当前待部署的虚拟机网络中每个虚拟机所诉求的硬件资源的大小，包括：

当前待部署的虚拟机网络中每个虚拟机所诉求的计算资源的大小，以及，所诉求的保证转发数据量；其中，该保证转发数据量为保证单位时间内在该虚拟机能够与其他虚拟机之间进行转发的最低数据量；

其中，用于部署每个虚拟机的服务器的可用硬件资源的大小，大于或等于该虚拟机所诉求的硬件资源的大小，包括：

用于部署每个虚拟机的服务器的可用计算资源的大小，大于或等于该虚拟机所诉求的计算资源大小；并且

用于部署每个虚拟机的服务器的可用数据转发资源的大小，大于或等于该虚拟机所诉求的保证转发数据量；并且

用于部署每个虚拟机的服务器的可用带宽资源的大小，大于或等于该虚拟机所诉求的保证转发数据量。

3.如权利要求2所述方法，其中，当前待部署的虚拟机网络中每个虚拟机所诉求的计算资源，包括：该服务器能提供给虚拟机使用的虚拟核心的数量；该服务器所能提供给虚拟机使用的虚拟核心，是基于该服务器的处理器核心映射而成的，单个处理器核心映射为若干虚拟核心；

其中，虚拟机网络中每个虚拟机所诉求的计算资源包括：该虚拟机申请占用的虚拟核心的数量，其中，不同虚拟机所占用的虚拟核心不同。

4.如权利要求1所述方法，其中，设备网络通常包括若干核心交换机、若干边缘交换机、若干服务器，其中，不同边缘交换机对接不同的服务器组，每个边缘交换机用于实现其所对接的服务器之间的通信转发；每个核心交换机对接全部边缘交换机，用于实现不同边缘交互机之间的通信转发。

5.如权利要求1所述方法，其中，单个服务器上可部署一个或多个虚拟机。

6.如权利要求2所述方法，其中，所述备选部署方案集合中的至少部分备选部署方案是随机生成的；

和/或

所述备选部署方案中的至少部分备选部署方案是基于不同的方案生成算法生成的，方案生成算法为，基于当前待部署的虚拟机网络中每个虚拟机所诉求的硬件资源大小与设备网络中每个服务器当前的可用硬件资源大小，生成可部署成功的备选部署方案的算法。