[发明专利]一种面向AWS平台的并行系统快速部署方法

说明书

技术领域

本发明涉及一种面向AWS平台的并行系统快速部署方法，属于信息技术处理领域。

背景技术

AWS（Amazon Web Services 亚马逊网络服务系统）是由亚马逊公司于2002年开始运营的云计算平台，提供多种类型的远端Web服务。其中的EC2（Elastic Compute Cloud 弹性计算云）服务可以让用户以租用虚拟计算机（实例）方式，远程使用不同类型的计算机系统，并且运行任何自己所需要的软件。租用虚拟计算机的价格随提供的硬件资源多少而区分，并且用户可以随时创建、运行和终止服务，因此AWS EC2被视为一个灵活的、相对廉价的云计算平台。实例中所包含的操作系统和预安装软件取决于它启动时所选择的系统镜像AMI，不仅是AWS官方，任何用户均可以将自己所设置的软件环境封装为AMI，并且提供给其它用户使用。

由于受到EC2服务自己的限制，申请大量EC2实例来组建计算机集群，并在此上部署基于Hadoop的并行处理平台的过程繁琐且耗时。首先的原因在于EC2实例无法拥有一个长久固定的IP地址。一台EC2实例在其创建时被赋予一个惟一的公有链接地址和私有IP地址，分别用于从数据中心外部和内部来对实例进行访问。在从外部进行访问时，由于网络受到途经所有路由的限制，其带宽有限且会根据使用流量收取相应的费用，而在从内部网络访问实例时，则带宽质量受到保证，且不计入流量费用。此外，当实例被暂停或终止后，仅管不再计价，但相应地，实例的公有链接地址与私有IP均被收回，因此在AWS EC2平台中，无法长久保存一个拥有固定私有IP的计算机集群系统。针对此问题，AWS提供了EIP（Elastic IP 弹性IP）服务，用于租用一系列固定的私有IP地址，但会收取一定的额外费用。

其次，在部署基于Hadoop的并行处理平台时，需要修改一定数量的配置文件，如masters、slaves、core-site.xml等，用于设置当前集群中的主实例与子实例的IP址址。由于受到不能获取固定IP的问题局限，每当建立一个新的集群系统时，都要对这些文件需要进行更新。当集群规模超过50台实例时，广播传输更新后的文件也需要耗费一定的时间与费用。

最后，由于EC2平台自身存在的不稳定性，在申请大批量实例时，会存在部分实例无法顺利启动的问题，从而对其它已启动实例的计算资源造成了浪费。

这种AWS EC2服务的不稳定性以及无法免费获取固定私有IP地址的局限构成了在此平台上部署基于Hadoop平台的并行处理系统的一个技术难点。

目前，也没有公开发表的技术或手段来对此问题加以解决。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供一种面向AWS平台的并行系统快速部署方法。

本发明为实现上述发明目的采用如下技术方案：

步骤1，检测当前系统是否准备有EC2命令行工具以及其它必须文件，如账户私有密钥等；

步骤2，设置启动EC2实例的参数，包括实例数量、类型，AMI ID，主子实例的标签名，数据中心的名称，防火墙规则等，并启动所有实例；

步骤3，等待并确保所有实例启动成功，具体方法为：

步骤3-1，检测并收集当前未顺利启动的实例ID，若全部实例均已启动，则返回；

步骤3-2，告知用户未启动的实例数量，询问是否继续等待一定周期（如10s），若是则返回步骤3-1；

步骤3-3，终止未启动成功的实例，并再次启动相应数量的新实例，返回步骤3-1；

步骤4，为启动实例添加相应标签，以区分主实例与其它子实例；

步骤5，收集主实例的公有链接地址，以及所有实例的私有IP地址；

步骤6，初始化主实例，并上传所收集到的实例私有IP地址信息，具体方法为：

步骤6-1，查看此实例的初始化标记，若存在则说明此实例已用于其它集群，则返回失败信息，否则将收集到的实例私有IP地址上传至主实例；

步骤6-2，查看当前是否为主实例，否则进入步骤6-5-1；

步骤6-3，根据主子实例的私有IP地址，修改并行处理系统的所有相关配置文件，然后将所有配置文件封装并进行压缩；

步骤6-4，将封装后的配置文件并行传输至所有参与此集群的子实例中；

步骤6-5，标记主实例初始化完成，初始化所有子实例，待全部完成后结束部署。这一过程通过并发进程的方式完成，以便加快整体部署的效率，具体包含两个步骤：

步骤6-5-1，子实例检测是否已被初始化，若是则返回步骤6-5；