[发明专利]基于服务发现和容器技术的大数据平台弹性伸缩方法

摘要

本发明公开了一种基于服务发现和容器技术的大数据平台弹性伸缩方法，包括以下步骤：(1)使用容器技术组件化大数据平台；(2)启动大数据集群，注册集群元数据信息；(3)向服务代理汇报心跳数据并更新相关信息；(4)代理服务周期向服务代理读取大数据集群管理信息，判断是否存在节点失效或者需求变更情况，如果存在，则执行第五步骤；否则，执行第六步骤；(5)若存在节点失效情况，则尝试恢复失效的节点容器；若存在需求变更情况，则根据需求变更元数据，为集群添加或则删除节点容器；(6)重复执行以上第三至第五步骤，直至集群服务终止运行。本发明能够感知大数据平台内部状态从而进行有效弹性伸缩和提高集群资源使用率。

主权项

1.一种基于服务发现和容器技术的大数据平台弹性伸缩方法，其特征在于，包括以下步骤：/n第一步骤：使用容器技术对各大数据平台进行组件化封装处理；/n第二步骤：初始化大数据集群管理的元数据目录，在大数据集群启动时，拉取并启动相应大数据平台组件，并将集群元数据信息注册到服务代理；/n第三步骤：每个主机集群节点的状态监控器周期向服务代理汇报心跳数据，并更新相关信息，实现对集群内部的状态感知；/n第四步骤：主机集群的代理服务周期向服务代理读取大数据集群管理信息，判断是否存在节点失效或需求变更情况，若在心跳周期内服务代理未接收到容器节点的状态数据则将该节点视为节点失效，此时服务代理从元数据中将该节点运行状态标记为失效，反之节点运行状态标记为有效，如果存在节点失效或需求变更情况，则执行第五步骤；否则，执行第六步骤；/n所述服务代理作为服务与外界通信的桥梁，提供一切保存在服务端的相关信息，同时具备更新相关信息的功能，所述相关信息包括服务运行的程序文件、依赖库、配置和数据；所述代理服务采用订阅发布设计模式实现异步通信，负责周期性的轮询访问订阅列表中的所有组件信息，根据获取的服务状态信息处理各节点的节点失效或需求变更情况，按需求进行重启节点或增删节点操作；所述判断是否存在节点失效或需求变更的具体方法为：/n根据各节点周期反馈的资源信息，获取最近的10个心跳周期的资源利用率信息，设一个大数据集群容器节点有N个，用C