[发明专利]动态混合计算环境

说明书

本文中的各种实施例各自包括用于诸如在云计算中实例化、执行以及操作动态混合计算环境的系统、方法和软件中的至少一项。一些这样的实施例包括分配第一服务器集群的计算资源以实例化第一集群并且以建立计算会话。这一实施例然后可以发起第一集群内的程序的执行，该执行当第二集群被实例化时，将至少一个计算任务卸载到第二集群，以利用第二集群的关于某些计算操作的高计算速度性能能力。响应于程序执行的完成，第二集群然后被解除分配。

背景技术

深度学习的繁荣由大型数据集和大型神经网络两者推动。利用大型数据集训练深度神经网络(DNN)是极其计算密集的。训练要求具有诸如加速器的特殊硬件配置以及具有低延时和高吞吐量的高速联网技术的机器，以实现现实的训练时间。针对典型的数据科学工作流，数据准备和特征化阶段以及稍后的模型评估阶段可以在较便宜的诸如在MapReduce分布式计算模式的规模中的Apache Spark集群通用(commodity)硬件上被运行。同时，诸如DNN的一些其他更加计算密集的工作负载可能要求紧密耦合的并行实现，其被构建在消息传递接口(MPI)框架上，并且包括用以支持高性能并行化的加速器。然而，具有诸如图形处理单元(GPU)的加速器的机器一般较昂贵，除了这些机器以外的非通用机器仅可以被部分地利用，当它们的特殊目的计算资源未被利用时保持休眠。这导致了昂贵的非通用计算资源利用不足。

发明内容

本文中的各种实施例中的每个实施例包括用于诸如在云计算中实例化、执行和操作动态混合计算环境的系统、方法和软件中的至少一项。

以方法的形式的一个实施例包括接收分配输入，该分配输入标识将被附着到计算会话的虚拟计算资源。在一些实施例中，计算资源包括在第一硬件类型上操作的至少一个虚拟机的第一集群，以及在第二硬件类型上执行的至少一个虚拟机的第二集群。该方法还包括接收安全连接性输入以使第一集群和第二集群两者的虚拟机能够传达数据。在接收分配输入和安全连接性输入之后，该方法然后可以分配虚拟计算环境内的计算资源，以根据分配输入建立计算会话，并且根据安全连接性输入建立所分配的计算资源之间的安全连接性。程序的执行然后可以在第一集群内被发起，该执行将至少一个计算任务卸载到第二集群，以利用第二硬件类型的性能增强能力。被卸载到第二集群的计算任务包括第一集群对数据从第一集群到分布式文件系统的复制，以允许第二集群的虚拟机创建、读取、更新和删除其中的数据，从而使得分布式文件系统中的数据对第一集群和第二集群两者的虚拟机立即可用。

以系统的形式的另一实施例包括第一服务器计算机集群，在第一服务器计算机集群上多个虚拟机可以被实例化以用于形成第一集群。这一系统还包括第二服务器计算机集群，在第二服务器计算机集群上多个虚拟机可以被实例化以形成第二集群。第二计算机集群的每个服务器计算机包括至少一个硬件元件，与某些计算操作当由第一服务器集群的服务器执行时相比较，该至少一个硬件元件具有关于相同的某些计算操作的高计算速度性能能力。这一实施例的系统还包括虚拟网络基础设施，该虚拟网络基础设施将第一服务器集群和第二服务器集群互连以提供虚拟计算环境。虚拟网络基础设施还包括门户，人类用户和逻辑用户通过该门户与在虚拟计算环境内执行的过程和资源对接。该门户包括被存储在第一服务器集群的服务器计算机中的一个服务器计算机的存储器内的指令，指令在该一个服务器计算机的处理器上可执行以执行数据处理活动。该门户的这些数据处理活动包括分配第一服务器集群的计算资源以实例化第一集群并且以建立计算会话。该门户的数据处理活动还包括在第一集群内发起程序的执行，当第二集群被实例化时，该执行将至少一个计算任务卸载到第二集群，以利用第二集群的关于某些计算操作的高计算速度性能能力。在一些实施例中，第二集群的实例化可以在计算任务被卸载到第二集群之前立即发生。被卸载到第二集群的计算任务包括第一集群对数据从第一集群到分布式文件系统的复制，以允许第二集群的虚拟机创建、读取、更新和删除其中的数据，从而使得分布式文件系统中的数据对第一集群和第二集群两者中的虚拟机立即可用。响应于程序执行的完成，一些实施例的数据处理活动然后可以将至少第二集群解除分配。

附图说明

图1是根据示例实施例的系统的逻辑框图。