[发明专利]一种基于双主机热备份的Hadoop高可用性系统实现方法无效
申请号: | 201310159892.5 | 申请日: | 2013-05-02 |
公开(公告)号: | CN103220183A | 公开(公告)日: | 2013-07-24 |
发明(设计)人: | 胡昔祥;任祖杰;万健;张纪林;殷昱煜;刘明刚 | 申请(专利权)人: | 杭州电子科技大学 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L12/861;H04L1/22 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 杜军 |
地址: | 310018 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于双主机热备份的Hadoop高可用性系统实现方法。本发明包括引入JobTracker备份节点,实时收集并解析JobTracker主节点的作业状态,实现与JobTracker主节点的作业状态同步备份;JobTracker主节点与备份节点共享一个虚拟IP地址;当JobTracker主节点发生故障时,JobTracker备份节点即时恢复所有的作业状态,并接管原JobTracker主节点的所有服务,角色切换成为新的JobTracker主节点。保证所有服务无间断运行。本发明可以应用在Hadoop系统中,用于增强Hadoop系统的可用性。 | ||
搜索关键词: | 一种 基于 主机 备份 hadoop 可用性 系统 实现 方法 | ||
【主权项】:
一种基于双主机热备份的Hadoop高可用性系统实现方法,其特征在于:通过双主机热备来增强Hadoop作业跟踪节点JobTracker的高可用性,引入了一个JobTracker备用节点实时收集并解析JobTracker主节点的作业状态,在JobTracker主节点发生故障时,JobTracker备用节点即时恢复当前作业状态,实现JobTracker主节点实时同步;其具体步骤为:步骤1—作业状态收集:作业状态的收集是通过消息中间件完成的;消息中间件提供消息的存储转发服务,实时的收集JobTracker主节点的作业状态信息,然后转发给JobTracker备用节点;步骤2—作业状态同步:在作业状态同步阶段,JobTracker备用节点通过实时解析从消息中间件收集得到的作业状态,还原得到JobTracker主节点的作业状态;步骤3—故障迁移:故障迁移是指在双主机热备份Hadoop系统中,当JobTracker主节点运行节点失效时,系统自动和透明地切换到JobTracker备份节点,JobTracker备份节点恢复失效节点的所有状态信息,然后继续提供相应的服务。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310159892.5/,转载请声明来源钻瓜专利网。