[发明专利]一种改进的Hadoop视频副本存放方法

说明书

本发明提供一种改进的Hadoop视频副本存放方法，在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响。有效的解决了负载均衡问题，同时根据Hadoop分布式运算的特点，存放在高带宽、大内存、磁盘利用率高的机器的视频数据可以最大化进行智能视频分析处理。

技术领域

本发明涉及网络环境下的海量视频副本存放技术领域，具体涉及一种Hadoop视频副本存放方法。

背景技术

HDFS分布式策略在选择存放副本的DataNode时，已经尽可能地选取合适的节点，但是并不是最合适，比如对存储空间的考虑，仅仅只是判断副本是否能够存放到剩余的空间，却忽略了选择剩余空间率最大的数据节点。随机选择数据节点的方式，有很大几率使副本存放在某些空间使用率高的数据节点上，与之相对应的是空间使用率比较低的数据节点上却只有很少的副本。特别是在一个较大的分布式集群已经运行了很久之后，每个数据节点都有比较重的存储负载，此时若有少量的新的空载节点加入，由于系统采用的随机算法，分布式系统有可能继续在有较重存储负担的节点上存储数据，对于新的轻载的数据节点没有有效利用，甚至可能出现重载节点因为耗尽空间而停止服务。经研究表明，在不停向HDFS集群上传数据，当空间使用率超过50％时，负载不均衡现象便会出现。虽然HDFS提供了动态调整集群负载的工具Balancer，然而在利用此工具时，数据迁移占用的网络带宽较大，效率低下，最重要的是需要管理员手动进行操作。由于DataNode上有可能因为数据迁移造成严重的I/O负担，影响了对客户端的读写响应，因而往往只适合在集群空闲时间使用。假设集群进行长时间读写操作，那么某些节点的负载就有可能来不及及时调整，造成集群的负载不均衡度越来越大。

发明内容

本发明的目的在于对HDFS本身的副本分布策略做出改进，在文件首次写入的时候便对其进行负载均衡处理，让数据块能相对平均的分布在数据节点上，以避免负载不均衡现象。

本发明的技术方案如下：

一种改进的Hadoop视频副本存放方法，其特征在于：

(1)在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；

(2)在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响，根据以下等式选择节点：

S(数据节点)＝f(网络开销，剩余存储容量)，

其中f(网络开销，剩余存储容量)同时考虑了网络开销与剩余存储容量这两个因素。S(数据节点)是f函数开销最小的数据节点；

同时引入变量ɑ，根据以下公式来衡量网络开销以及剩余存储空间所占的比例：

S(数据节点)＝ɑN+(1-ɑ)C(0<＝ɑ<＝1)

其中N表示当前数据节点网络可用的连接数占总共连接数的比例，C表示剩余存储空间占总空间的比例，ɑ表示两个因素的权重；根据系统的实际情况，确定ɑ值的大小，当网络开销占主导因素时，ɑ值取较大，反之取较小。

本发明针对原有的hadoop副本放置策略的局限性进行分析，提出并实现了副本分布策略，极为有效的解决了负载均衡问题，同时根据Hadoop分布式运算的特点，存放在高带宽、大内存、磁盘利用率高的机器的视频数据可以最大化进行智能视频分析处理。

附图说明

图1是本发明的视频副本放置策略流程图。

具体实施方式

在Hadoop中，原始数据存存放在本地节点中，另外的备份节点分别在本地机架和远程机架上随机选取存储。