[发明专利]混合文件系统架构、文件存储、动态迁移及其应用

说明书

提供了混合分布式文件系统架构结构、应用的文件存储处理方法、动态迁移方法及其应用。文件存储处理方法包括:获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；将所述待存储文件存储到所述确定的分布式文件系统中。进一步还包括根据预定策略对已经存储到预定存储位置的文件进行迁移。该装置根据文件特征属性智能选择文件底层存储策略；决策是否将文件进行迁移，以及迁移到哪个文件系统，以满足不同文件系统使用均衡，同时性能下降最低。通过实验对比得出本发明对文件系统I/O性能，使用均衡等综合文件性能都有较大的提升。

技术领域

本发明涉及分布式文件系统技术领域，尤其涉及到混合有多个分布式文件系统的混合文件系统架构、文件存储、动态迁移及其应用。

背景技术

在分布式文件系统研究领域，针对不同的领域和应用场景，不同的研究机构和企、事业单位可能设计不同架构的分布式文件系统以满足特定需求，例如淘宝文件系统TFS满足淘宝大量图片存储优化同时满足用户存储需求、HDFS主要应用于分布式计算，针对大的数据流具有很好的处理性能、Glusterfs采用无元数据服务器思想来优化小文件存储，及涉及大量元数据的操作、而FaceBook则主要针对其存储文件大小范围，和内容需求对HDFS进行了相应的改进、Ceph致力于提出高可用的分布式文件系统，设计多个metadata server提高元数据性能。鉴于以上不同文件系统设计目标不同，导致了文件系统的通用性较差，例如HDFS对大文件的读写具有较高的性能，实验分析得出当文件大于8M时其读写性能较好，Glusterfs则对小于8M的文件具有更好的I\O表现等等。

在现有技术中，对于使用了不同文件系统应该如何进行存储才能提高存储效率，并没有相关的解决方案。

发明内容

本发明要解决的技术问题之一是：在多种高性能文件系统共存的情况下，如何充分利用各种文件系统的性能优势，将多种文件系统整合，充分利用其各自优势，提高存储效率，提升整体性能,综合处理各种情况达到文件系统整体性能最优。

为此，提出了本发明。

根据本发明的一个方面，提供了一种在包括混合有多个不同类型的分布式文件系统的混合文件系统架构中应用的文件存储处理方法，用于确定将待存储文件存放在哪个分布式文件系统中，所述文件存储处理方法包括:获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；将所述待存储文件存储到所述确定的分布式文件系统中。

可选的，所述存放规则是基于训练样本集、利用人工智能学习算法学习得到的智能存放模型，所述训练样本集的每个训练样本的特征包括文件的存储属性和该文件已被确定布置于的文件系统的标签。

可选的，其中所述文件的存储属性还包括：文件的访问模式类型、访问权限大小和相关联的用户，其中访问模式类型选自下列项目之一：只读、只写、读写和执行。

可选的，所述混合文件系统架构包括元数据管理服务器，其中所述存放规则被存储于非易失性存储介质中，同时维护于元数据管理服务器内存中；以及所述存放规则是动态更新的，其中所述根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中包括：从元数据管理服务器中读取存放规则，根据读取的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中。

可选的，所述存放规则还被维护于远程备用节点中。

可选的，其中所述人工智能学习算法是决策树，所述智能存放模型是基于训练数据构造的决策树模型。

可选的，决策树模型构造中进行了包括剪枝、交叉验证的优化处理。