[发明专利]基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置

摘要

本发明涉及一种虚拟Hadoop集群节点选择方法及装置，公开了基于最短逻辑距离的虚拟Hadoop集群节点选择方法，通过计算虚拟机节点的逻辑通信距离选择Master节点，通过计算虚拟机节点的逻辑传输距离选择R个Reducer节点，通过监控虚拟集群是否达到SLA要求决定是否重新选择Master节点以及Reducer节点，此外，本发明也提供了一种应用上述基于最短逻辑距离的虚拟Hadoop集群节点选择方法得到的选择装置。本发明的优点在于，可以提高计算性能，减少网络数据数据传输压力，同时兼具对网络环境的动态适应机制，具有较好的应用价值。

主权项

一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，包括以下具体步骤：1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；2)根据虚拟坐标计算虚拟机节点QUOTE Vi、QUOTE Vj之间的逻辑通信距离QUOTE LCDi,j，其中，虚拟机节点QUOTE Vi、QUOTE Vj为虚拟集群内的任意两个虚拟机节点，QUOTE LCDi,j＝||Xi‑Xj||，QUOTE Xi为虚拟机节点QUOTE Vi在Vivaldi网络坐标内所对应的坐标向量，QUOTE Xj为虚拟机节点QUOTE Vj在Vivaldi网络坐标内所对应的坐标向量；3)根据逻辑通信距离QUOTE LCDi,j计算虚拟集群内任一虚拟机节点与虚拟集群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距离，选择总逻辑通信距离最短的虚拟机节点作为Master节点；4)计算虚拟集群内虚拟机节点QUOTE Vi至Mapper节点QUOTE Vj的逻辑传输距离QUOTE LTDi,j，其中，QUOTE Vi为虚拟集群内的任一虚拟机节点，Mapper节点QUOTE Vj为任一Mapper节点，QUOTEk为QUOTE LCDi,j以及与虚拟机节点QUOTE Vi相连接的交换机i的影响力因子，QUOTE Si为与虚拟机节点QUOTE Vi相连接的交换机i的剩余传输能力，QUOTE Stotal为所有与交换机i相连接的交换机的剩余传输能力之和；5)根据虚拟集群内虚拟机节点QUOTE Vi至Mapper节点QUOTE Vj的逻辑传输距离QUOTE LTDi,j，分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距离最短的虚拟机节点作为Reducer节点；6)对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。