[发明专利]一种spark集群断电自保护及来电自启动的方法

说明书

本发明提供了一种spark集群断电自保护及来电自启动的方法，该方法将所有主机分别与交换机相连接，路由器的LAN口与交换机相连接；主机与交换机均通过UPS供电，路由器则通过市电供电；所有主机、交换机、路由器构成局域网；多个主机通过交换机组成集群；任选一主机设为主节点，其余主机设为次节点；主节点每隔固定的时间段检测路由是否在线，若主节点检测到路由器掉线，则认为市电供电断电，然后关闭spark集群，再关闭hadoop集群，最后关闭所有主机，以保护集群软、硬件不受损坏；若市电供电恢复，路由器自动启动，并通过局域网唤醒主节点，随后主节点自动开启集群，以达到集群来电自启动的目的。

技术领域

本发明属于大数据技术领域，具体涉及一种spark集群断电自保护及来电自启动的方法。

背景技术

Spark是包含众多子项目的大数据计算平台，已成为Apache基金会的顶级开源项目，拥有庞大的社区支持，技术也逐渐走向成熟。且在性能方面，Spark凭借着速度快、易用、通用性、可融合性及轻量级快速处理等优点在众多的大数据分析处理平台中脱引而出。但spark集群在运维方面还存在着很大的优化空间。一方面，如果突然断电，即便有紧急电源，若集群不能及时响应，在紧急电源耗尽之后，依然会导致集群出现不一致的现象，会损坏数据和集群本身，甚至直接损坏硬件设备；另一方面，市电恢复之后，需要运维人员手动启动spark集群，这增加了人力成本，且很难保障时效性。

发明内容

针对上述情况，本发明提出了一种利用普通UPS作为后备电源，能在UPS电量耗尽之前将集群系统和主机安全关闭以保护集群，并在恢复供电之后之后自动启动集群的方法，其中断电自保护是指在紧急电源失效之前主动自动将集群系统和主机关闭以保护集群。该方法可以保护spark集群在突然断电的情况下及时响应，避免遭到损坏，并在来电的时候可以自行启动spark集群，减少维护的人力成本。

一种spark集群断电自保护及来电自启动的方法,包括以下步骤：

步骤1，准备所需部件，包括：多个主机、交换机、路由器、UPS；

步骤2，将准备部件中的所有主机分别与交换机相连接，路由器的LAN口与交换机相连接；

所述主机与交换机均通过UPS供电，所述路由器通过市电供电；

所述所有主机、交换机、路由器构成局域网；

所述所有主机通过交换机组成集群；

步骤3，在局域网中，任选一主机设为主节点，其余主机设为次节点；

若主节点检测到路由器掉线，则认为市电供电断电，随后主节点先关闭局域网中的spark集群，再关闭局域网中的HADOOP集群，最后关闭所有主机；

若市电供电恢复，路由器自动启动，随后路由器下发开机指令，通过局域网唤醒主节点，主节点随后启动所有次节点，待所有次节点启动完毕后评估网络状况，然后启动局域网中的HADOOP集群，最后启动局域网中的spark集群。

进一步地，主节点每隔时间T检测一次路由器是否在线；其中，t1≤T≤t2，t1为服务器向路由器单次询问的最短时间，t2为UPS的备用电源所能供电的最长时限。

与现有的专用硬件设备(如远程开机卡)、自带远程开机功能的服务器主板、自带关闭主机功能的UPS相比，本发明具有如下特点：

1.功能更加完善，针对供电得不到保障的集群设计，能做到无人值守，而现有的方案都不能提供完整的功能支持；

2.针对集群设计，在掉电时能够及时响应以保护整个集群的安全，而现有的方案都是针对单个主机设计，不能实现集群的保护。

3.非侵入式，无需为主机添加额为的硬件，确保集群的安全和稳定性；

4.廉价，无需昂贵的特定基础配套设施；