[发明专利]一种基于存储介质类型和加权配额的存储资源管理方法

说明书

本发明涉及一种基于存储介质类型和加权配额的存储资源管理方法，包括步骤：存储设备和用户空间文件系统的挂载和读写请求分发，其中读写请求分发采用的Weighting Jump算法引入了加权分配特性，具有较高的计算速度、无状态调度和极低的内存消耗，这种方法采用类似谷歌John Lamping和Eric Veach提出的依概率跳变的方法来实现。能够从概率的层面保证存储资源的分配服从设定的权重，最小化标准误，并且具有比原有Hadoop集群的资源管理系统Yarn中实现更低的时间复杂度和内存消耗。克服了之前资源管理系统Yarn中实现的磁盘资源分配算法轮询检索目录的低效性，具有可伸缩性，且在扩展时，能够依概率最小化原有数据的移动。

技术领域

本发明涉及一种基于存储介质类型和加权配额的存储资源管理方法，属于大数据存储和分布式计算领域。

背景技术

随着大数据存储和混合存储介质技术的发展，存储资源管理和分配方法变得越来越重要，也面临着越来越严重的考验。Apache开源社区开发的Hadoop大数据处理系统已经成为大数据领域最具代表性的解决方案。Hadoop包括HDFS(Hadoop Distributed FileSystem)分布式文件系统和Yarn(Yet Another Resource Negotiator)资源管理系统和MapReduce数据处理框架。其中运行的MapReduce应用对于数据的访问分为访问map阶段读取输入文件时、Reduce阶段写入输出文件时对HDFS分布式文件系统的访问和shuffle阶段读写中间数据时对于本地系统存储资源的访问。随着混合存储技术的发展，应用对于存储资源的访问也引入不同的考虑因素，因此基于存储介质和加权分配的存储资源分配技术也得到学术界和工业界越来越多的重视。

由于MapReduce应用在shuffle(数据混洗)阶段把中间数据存放于本地系统中，访问序列具有高随机性并对于特定应用会产生数倍于原始输入数据大小的中间数据文件。因此优化中间数据的存储效率有较高的研究价值。对于中间数据的存储资源管理，能否根据存储资源的存储空间容量平衡地分配存储数据是至关重要的。从存储效率的角度来看，存储资源管理技术需要满足的条件包括平衡性、低内存效率、存储介质的选择性、低算法复杂度、容错性和伸缩性。尤其是伸缩性，需要在新增存储设备时，最小化已有数据的移动。然而在现今已有的存储资源管理或分配方法中，还没有一种方法能有效的将上述条件全部满足。本发明提出了一种新的存储资源管理方法，能有效的利用混合存储介质的差异性并满足上述优化要求。

发明内容

本发明的技术解决解决问题：克服现有技术的不足，提供一种内存消耗小的高性能的存储资源管理方法，该方法将存储资源的介质信息和容量信息有效的结合起来进行加权一致性哈希计算，能够更平衡高效地管理存储资源。

本发明的技术解决方案：一种基于存储介质类型和加权配额的存储资源管理方法，包括：用户空间文件系统的挂载和读写请求的分发两个步骤；

所述用户空间文件系统的挂载步骤如下：

(11)将多块固态硬盘和机械硬盘成对分别挂载于当前文件系统中。将第1块固态硬盘和第1块机械硬盘分别挂载到有完全读写权限的目录/ssd-1和/hdd-1下，将第2块固态硬盘和第2块机械硬盘分别挂载到有完全读写权限的目录/ssd-2和/hdd-2下，将第n块固态硬盘和第n块机械硬盘分别挂载到有完全读写权限的目录/ssd-n和/hdd-n下，直至将全部存储设备挂载到/ssd1～/ssdn和/hddn～/hddn下；

(12)将每对固态硬盘目录和机械硬盘目录的访问封装到用户空间文件系统中，用户空间文件系统优先将访问重定向到固态硬盘目录中，当固态硬盘目录的存储空间不足时，使用近期最少使用算法(LRU)将固态硬盘目录中近期最少使用的文件置换到机械硬盘目录中。

(13)启动多个进程,运行步骤(12)中的用户空间文件系统，并将这多个进程提供的文件服务都挂载到Hadoop系统配置中的中间数据存储目录中，监听这些中间数据存储目录的读写请求；