[发明专利]基于服务发现和容器技术的大数据平台弹性伸缩方法

说明书

本发明公开了一种基于服务发现和容器技术的大数据平台弹性伸缩方法，包括以下步骤：(1)使用容器技术组件化大数据平台；(2)启动大数据集群，注册集群元数据信息；(3)向服务代理汇报心跳数据并更新相关信息；(4)代理服务周期向服务代理读取大数据集群管理信息，判断是否存在节点失效或者需求变更情况，如果存在，则执行第五步骤；否则，执行第六步骤；(5)若存在节点失效情况，则尝试恢复失效的节点容器；若存在需求变更情况，则根据需求变更元数据，为集群添加或则删除节点容器；(6)重复执行以上第三至第五步骤，直至集群服务终止运行。本发明能够感知大数据平台内部状态从而进行有效弹性伸缩和提高集群资源使用率。

技术领域

本发明涉及云计算大数据弹性伸缩领域,特别涉及一种基于服务发现和容器技术的大数据平台弹性伸缩方法。

背景技术

在云计算相关领域，弹性伸缩有助于数据中心保持资源管理的鲁棒性，能够降低能耗缓解系统资源浪费。目前不管是流量巨大的电商、游戏等娱乐行业，还是请求量波动极大的视频、直播等新媒体行业，都需要在“资源不足”和“资源浪费”之间做权衡。邓子凡针对水平伸缩和垂直伸缩各自的缺点，提出一种将水平伸缩和垂直伸缩两种方式相结合的弹性伸缩模式，但依然存在虚拟机技术带来的缺点。在Gandhi等人的研究中指出了传统的解决方案的缺陷：AlwaysOn采用全冗余的方式会造成严重的资源浪费；Reactive采用延迟启动策略，但在虚拟机或应用环境启动时setup延迟时间太长，一般都会超过200秒；Predictive尝试利用线性回归等策略来拟合负载模型，提前启动虚拟机来缩短setup时间；弹性伸缩方法根据请求量动态调整资源配给，但由于虚拟机的启动延迟等缺陷，而采用了与Predictive结合的方式。

随着容器技术的发展，弹性伸缩方法得到了更广泛的利用。例如在YW Chen等人的研究中利用容器的弹性伸缩加速异构环境中的大数据作业，但在其解决方案中需要扩展大数据平台的相关模块，缺乏通用性。Toffetti G等人利用容器的弹性伸缩提出了一种能够自我管理的微服务架构，在其实现中采用etcd作为状态持久化中心，可以实时响应到集群状态的节点故障，从而实现自我恢复。HE Yu等人提出了一种基于容器的高性能计算集群弹性伸缩架构，但其实现中用单节点维护服务状态，容易出现单点故障，缺乏可用性，Kan C等人实现了一种基于容器的弹性伸缩云平台，该实现采用了与Predictive方法相结合的方式来预测流量变化，不能应对流量突变。

虽然最近几年在面向大数据平台的弹性伸缩方向上已经开展了不少研究工作，然而，从传统的架构上来看，弹性伸缩需要结合Predictive方法预测流量的变化，这是由于虚拟机具有较高的启动延迟的缺点，而且这样的方法无法实时应对流量突变。此外，当前基于容器技术的弹性伸缩方法要不就是需要额外的扩展，要不就是存在功能上的缺陷，对目前流行的大数据平台不具有普遍适用性。

发明内容

鉴于上述现有技术存在的不足，本发明目的是提供一种基于服务发现和容器技术的大数据平台弹性伸缩方法，能根据服务代理提供大数据服务的生命周期信息，从而能够感知到集群内部的状态变化，为大数据集群提供按需的、灵活的弹性伸缩服务，并有效提高集群资源利用率。

为实现以上目的，本发明采取如下技术方案：

本发明的一种基于服务发现和容器技术的大数据平台弹性伸缩方法，包括以下步骤：

第一步骤：使用容器技术对各大数据平台进行组件化封装处理；

第二步骤：初始化大数据集群管理的元数据目录，在大数据集群启动时，拉取并启动相应大数据平台组件，并将集群元数据信息注册到服务代理；

第三步骤：每个主机集群节点的状态监控器周期向服务代理汇报心跳数据，并更新相关信息，实现对集群内部的状态感知；