[发明专利]一种海量教育文件关联存储方法

权利要求书

1.一种海量教育文件关联存储方法，其特征在于，包括：

S1：海量教育文件的归并；

S2：海量教育文件中的局部索引；

S3：海量教育文件的缓存与预取；

S4：海量教育文件碎片的整理。

2.根据权利要求1所述的海量教育文件关联存储方法，其特征在于，文件归并步骤如下：

Step1：将属于某个大文件的所有小文件归并为一个文件，称为merged file；

Step2：对每个merged file建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；

Step3：在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。

3.根据权利要求2所述的海量教育文件关联存储方法，其特征在于，局部索引的文件结构如下：

局部索引文件采用静态查找表结构，由索引头部、序列索引和文件索引3部分构成：

(1)索引头部由占1字节的版本号、占4字节的索引项数和占4字节的局部索引文件长度组成；

(2)序列索引由占4字节的序列名称、占4字节的文件索引的起始编号和占4字节的文件索引项数构成；

(3)文件索引项由占16字节的文件名称、占4字节的文件长度和占4字节的文件偏移构成。

4.根据权利要求2所述的一种海量教育文件关联存储方法，其特征在于，读取mergedfile时对局部索引文件的操作，包括如下步骤：

Step1：根据merged file名从NameNode获取元数据；

Step2：由merged file的元数据，从Hadoop文件系统的相应DataNode读取指定的数据块，并根据数据块内索引文件长度项读取数据块的局部索引文件；

Step3：最后根据小文件名称，查找局部索引文件，获得该小文件的起始位置和长度，从而完成对小文件的读操作。

5.根据权利要求1所述的海量教育文件关联存储方法，其特征在于，局部索引确定包括如下步骤：

Step1：依次计算每个文件的偏移，在数据块的边界处，检查是否有文件会横跨两个数据块，如果没有，转向Step3，否则，转向Step2；

Step2：在这个横跨两个数据块的小文件前，建立额外的局部索引文件，该索引文件的偏移是下一个数据块的起始位置，横跨小文件的偏移是该局部索引文件的结束位置，设块长为L_block，局部索引文件的大小为L_index，新块的序列号为W，新索引文件偏移量为L_offset，新索引文件长度为L_length，横跨小文件的偏移量为L_foffset，则：

L_offset＝(W-1)*L_block (5.1)

L_length＝L_index (5.2)

L_foffset＝L_offset+L_length (5.3)

Step3：对下一个数据块，重复Step1和Step2。