[发明专利]海量小文件的分布式存储方法和系统

权利要求书

1.一种海量小文件的分布式存储方法，其特征在于，包括：

磁盘分区步骤：将物理磁盘通过逻辑分区形成多个虚拟磁盘；

建立目录索引树步骤：基于所述虚拟磁盘根据海量小文件的文件命名规则进行分类，根据所述分类创建目录索引树；

文件存储步骤：根据文件命名规则解析所存储的海量小文件的文件名，获取海量小文件在所述目录索引树中的存储位置，存储海量小文件，对应的存储目录记为原始目录，并对海量小文件进行冗余存储，对应的存储目录记为冗余目录；

数据同步与恢复步骤：当出现所述原始目录、所述冗余目录两者中的文件数据不一致的情况时，触发数据同步与恢复操作；

所述建立目录索引树步骤包括：

建立层级节点步骤：将所述分类的类别个数记为P，将第i个分类的类成员个数记为Pi，其中i取正整数，将所述目录索引树的层级定为P+1层，第0层为根节点，其他层按照所述分类的逻辑所属关系进行定义，每层的节点个数与相应的Pi大小相同；

确定原始目录存储分区步骤：根据所述海量小文件的文件命名计算存储分区编号，将所述文件命名规则定义为特征值A、特征值B、特征值C的组合，存储分区编号F按以下公式计算：

F＝(f(特征值A)％n+特征值B/n+特征值C/n)/P₁

其中，f(特征值A)为特征值A类别名称的编码值之和，％为取模运算，P₁为第一层的节点个数，n为虚拟磁盘的个数；

确定冗余目录存储分区步骤：将所述原始目录的逻辑分区排除，将剩余的n-1个逻辑分区重新编号，存储分区编号F'按以下公式计算：

F'＝(f(特征值A)％(n-1)+特征值B/(n-1)+特征值C/(n-1))/P₁

其中，f(特征值A)为特征值A类别名称的编码值之和，％为取模运算，P₁为第一层的节点个数，n-1为去除原始目录后的虚拟磁盘的个数。

2.根据权利要求1所述的海量小文件的分布式存储方法，其特征在于，所述磁盘分区步骤包括：

磁盘编号步骤：将所述物理磁盘进行编号，记为已编号物理磁盘，其中编号记为i，i＝1,2，…,N；

逻辑分区步骤：将m个已编号物理磁盘划分定义为一个虚拟磁盘，所述物理磁盘被划分为N/m向上取整个虚拟磁盘，记为n个逻辑分区。

3.根据权利要求1所述的海量小文件的分布式存储方法，其特征在于，所述特征值A为文件的数据类型，所述数据类型为第一特征值、第二特征值、第三特征值，所述特征值B是年份信息，所述特征值C是月份信息，所述存储分区编号F按以下公式计算：

F＝(f(类别)％n+年份/n+月份/n)/3，

所述存储分区编号F'按以下公式计算：

F'＝(f(类别))％(n-1)+年份/(n-1)+月份/(n-1))/3，

其中类别为第一特征值、第二特征值、第三特征值的每个字母的ASCII码值之和。

4.根据权利要求3所述的海量小文件的分布式存储方法，其特征在于，所述存储海量小文件的数据存储是首先解析海量小文件的名称，获取海量小文件的数据类型、年份信息、月份信息，在目录索引树中找到海量小文件的原始目录进行存储，并将海量小文件的副本文件存储到冗余目录；

所述存储海量小文件的数据查找是首先选择待查找文件的数据类型、日期，解析日期，获得待查找数据的年份、月份，以数据类型、日期、月份作为查询条件在目录索引树中查找待查找文件的存储目录，获取到待查找文件。

5.根据权利要求1所述的海量小文件的分布式存储方法，其特征在于，所述触发数据同步与恢复通过监控器装置执行，监控器装置定时检查冗余目录的数据与原始目录的数据是否一致，若冗余目录的数据少于原始目录的数据，则将原始目录数据同步到冗余目录下，否则，则继续定时检查冗余目录的数据与原始目录的数据是否一致；监控器装置定时检查原始目录数据是否丢失，若原始目录的数据少于冗余目录，则将冗余目录数据恢复到原始目录下，否则，则继续定时检查原始目录数据是否丢失。