[发明专利]一种HDFS中面向视频的负载均衡方法

摘要

本发明公开了一种HDFS中面向视频的负载均衡方法，其结合视频文件的码率属性建立了视频存储场景下HDFS中数据节点资源利用率的评价模型；数据收集器分为名字节点代理和数据节点代理两部分，用于在HDFS中维护视频文件额外的属性；创建负载均衡方案时考虑在集群中的各个数据节点存储容量使用率基本均衡的前提下尽可能满足各个数据节点带宽资源消耗的均衡；调度分配器在选择要移动的数据块时综合考虑数据块占用的空间和可能消耗的带宽资源。本发明利用视频的特性在HDFS中对视频存储进行负载均衡，能够让视频存储场景下HDFS集群的带宽资源得到更有效的利用。

主权项

一种HDFS中面向视频的负载均衡方法，包括如下步骤：(1)HDFS中的数据节点通过计算得到自身的负载信息，主控节点收集各数据节点的负载信息；所述的负载信息包括磁盘大小、磁盘使用率、带宽资源总量、静态带宽资源消耗量以及单位静态带宽资源消耗量；数据节点计算得到自身负载信息的具体实现过程如下：1.1数据节点拉取自身的数据块报告；1.2数据节点对所述的数据块报告进行处理：根据数据块报告中数据块ID从主控节点提取其数据块对应存储文件的文件ID和最近修改时间；数据节点根据文件ID读取对应的文件进而分析其码率；1.3数据节点根据码率和最近修改时间通过以下公式计算出自身的静态带宽资源消耗量：数据节点的静态带宽资源消耗量等于数据节点内所有数据块静态带宽资源消耗量的总和，数据块的静态带宽资源消耗量＝数据块所对应存储文件的码率*exp((预设的活跃时间周期‑文件活跃时间)/活跃时间周期)；其中，文件活跃时间＝当前时间‑最近修改时间；1.4数据节点根据自身的静态带宽资源消耗量和带宽资源总量通过以下公式计算出自身的单位静态带宽资源消耗量：单位静态带宽资源消耗量＝静态带宽资源消耗量/带宽资源总量；(2)由负载均衡器从主控节点索取所述的负载信息并接收用户输入的操作指令，进而根据操作指令和负载信息建立负载均衡方案；(3)由调度器根据负载均衡方案控制各数据节点对节点内的数据块进行迁移，以实现负载均衡。