[发明专利]一种消冗文件系统及其数据部署方法

摘要

本发明公开了一种消冗文件系统及其数据部署方法，系统包括文件系统数据接收模块，数据分块模块，数据块管理模块，数据块存储模块，数据块索引存储模块；本发明通过对乱序的数据块进行了局部分区域排序处理，尽可能早的数据块顺序写入，降低了数据块积压，提前释放了内存，提高了系统的写入性能。对于重复数据删除在NFS共享结合上的应用又深入了一层，使NAS中NFS共享功能的应用场景和应用前景有了进一步的扩大。

主权项

一种消冗文件系统，包括文件系统数据接收模块，数据分块模块，数据块管理模块，数据块存储模块和数据块索引存储模块,初始时设定一个局部区域大小，将接收到的乱序的数据块分别分配到对应的局部区域，对于局部数据块再分别进行依次写入，具体执行过程如下：所述文件系统数据接收模块接收NFS协议传输过来的数据流；所述数据分块模块将接收到的数据流切分成数据块；所述数据块管理模块将切分好的数据块分配到数据域的数据块队列，然后再判断数据块在数据域内部是否严格顺序或者满足操作系统预读的逻辑顺序，根据内存管理模块判定规则决定数据块是继续缓存还是写入数据文件内；所述的严格顺序是指按照数据块在文件内的顺序分块依次排列；所述的判定规则是指根据缓存设定的阈值来判定，超出给定预定值则认为直接写入，否则继续缓存；所述数据存储模块根据数据块管理模块分配的任务来对数据块进行存储；将收到的数据块存储到文件内，同时返回给用户数据块存储位置信息，用户根据返回的位置信息及计算出的指纹组成三级索引进行存储；所述数据块索引存储模块根据数据块存储模块生成的数据块索引；所述的数据块管理模块包括数据域分配模块，数据块队列缓存模块，数据块局部顺序判断模块，内存管理模块；所述数据域分配模块是指根据所收到的数据块的全局序号和数据域分配规则来对数据块进行数据域分配，数据块为变长；所述数据块队列缓存模块对于数据域分配模块生成的镜像队列，用来缓存被判断为非顺序的数据块；所述数据块局部顺序判断模块通过数据块的全局序号和其所在队列的被标记为入库的序号比对，如果满足严格顺序或者是相对顺序的则交由内存管理模块根据阈值确定是缓存还是强行写入数据文件；所述内存管理模块对消冗文件系统内全部数据块缓存域缓存空间申请释放管理的功能，保证写入数据块的顺序性的同时兼顾系统性能。