[发明专利]一种面向ASM文件系统的文件解析方法

摘要

一种面向ASM文件系统的文件解析方法，通过从ASM实例中获取ASM元数据，进而生成ASM元数据的MAP结构，并运用ASM的条带化规则，将文件偏移量映射到元数据MAP的key，即磁盘组ID、文件ID、AU序列号组成的三元组；再通过key获取value，定位数据在ASM磁盘的具体存储位置；然后按照条带化规则，保证每次读取内容保持在一个AU单元的一个条带内，本发明通过利用Key‑Value结构，建立ASM文件单元与磁盘内存储位置的关联关系，实现直接从ASM文件中读取数据的目的，避免额外的IO操作，提高读取效率。

主权项

一种面向ASM文件系统的文件解析方法，其特征在于，通过从ASM实例中获取ASM元数据，进而生成ASM元数据的MAP结构，并运用ASM的条带化规则，将文件偏移量映射到元数据MAP的key，即磁盘组ID、文件ID、AU序列号组成的三元组；再通过key获取value，定位数据在ASM磁盘的具体存储位置；然后按照条带化规则，保证每次读取内容保持在一个AU单元的一个条带内，具体步骤包括：步骤1：逻辑上将ASM文件均分为各个小单元，每一个小单元有自己的序号，即AU序号，大小为1M；相应地，存储ASM文件的磁盘空间也划分为多个用于数据存储的分配单元，称为AU单元；所述每一个AU单元有唯一身份识别ID号，即AUID，数据存储大小为1M；一个ASM文件的具体数据将分布在多个AU单元内；多个磁盘组合成磁盘组，每一个磁盘组有唯一的ID号，即磁盘组ID；每一个磁盘有唯一的ID号，即磁盘ID；针对细粒度文件类型，AU单元内将具体的数据分割成大小相同的数据块，形成多个均等大小的条带；步骤2：将所有ASM文件的具体数据存储在磁盘组内的各个磁盘中，并记录各个AU单元的存储位置：磁盘组ID、磁盘ID、AUID；读取时以等数量的AU单元为一个读取组，待读取完一组后再继续读取下一组；其中，所述读取组是由多个AU单元组成，在读取一个读取组时，按照AU单元序号顺序读取；读取组内的AU单元数目根据ASM文件每次计划读取的数据量提前设定，即读取组内的AU单元数＝读取量/ASM文件单元的大小；步骤3：以SQL查询的方式从ASM实例中获取ASM文件元数据，包括文件ID、磁盘组ID、磁盘ID、AU单元序号、AUID；并基于ASM文件元数据构建元数据的MAP结构(key‑value结构)，其中，key＝{磁盘组ID，文件ID，AU顺序号}，value＝{磁盘ID，AUID}；步骤4：当有读取ASM文件的需要时，通过定位预读取文件的初始读取位置和预读取位置，获得文件逻辑偏移量；接着，利用文件逻辑偏移量计算获得文件内的位置标识，包括AU序号和AU单元内偏移量；其中，所述AU单元内偏移量，是指一个AU单元内的初始位置和读取位置的偏移距离；步骤4所述的位置标识计算方式为：文件逻辑偏移量除以“1024K”，取整数作为AU序号；AU单元内偏移量＝(文件逻辑偏移量‑AU序号值*1024K)％条带空间大小；步骤5：如果是粗粒度文件，利用已构建的MAP结构，根据key值：ASM文件ID、磁盘组ID和AU序号，获得Value值：磁盘ID和AUID；进而通过磁盘ID定位到具体磁盘，通过AUID定位到该磁盘中的数据读取位置；针对细粒度文件，ASM文件的数据存储以条带为单位进行存储，一个ASM文件单元的具体数据分布在多个连续的AU单元的条带中；针对粗粒度文件，ASM文件的数据以AU单元为单位进行存储，一个ASM文件单元的具体数据占用一个AU单元；步骤6：针对不同的文件类型，从数据读取位置执行不同的读取操作：如果是粗粒度文件，按照AU序号，顺序读取每一个AU单元对应的具体磁盘数据；如果是细粒度文件，以读取组为单位，按照读取组内的AU排序，先依次读取每个AU单元的第一个条带对应的磁盘数据，然后再依次读取每个AU单元的第二个条带对应的磁盘数据，按照上述规则直到读取完当前读取组内的所有AU单元的条带，然后转到下一个读取组进行读取。