[发明专利]一种针对海量非结构化数据的资源管理方法

权利要求书

1.一种针对海量非结构化数据的资源管理方法，其特征在于，包括以下步骤：

步骤a：根据非结构化数据文件的大小确定其存储方式，当所述非结构化数据文 件大小超过给定阈值时，将其存入HDFS文件系统，并在HBase上创建的数据表中存储 其基本信息及在HDFS上的路径；当所述非结构化数据文件大小小于等于给定阈值时， 将所述文件序列化并直接存储在HBase数据库中；

步骤b：根据所述非结构化数据构建元数据表和数据索引表，并利用所述元数据 表构建元数据索引表；

步骤c：当查询元数据时，根据要查找的元数据的主题或标签对所述元数据索引 表进行查找，以获得对应的数据表；以及

步骤d：当查询非结构化数据记录时，根据所述数据索引表的命名规则找到数据 表对应的数据索引表，之后在所述数据索引表中查找所述非结构化数据记录的语义标 签，获得所要查找的数据记录的主键，然后根据所述主键在所述数据表中快速定位数 据。

2.根据权利要求1所述的方法，其特征在于，步骤a中，所述给定阈值为1MB， 进一步包括以下步骤：

步骤a1：首先在HBase上创建所要上传数据的数据表；

步骤a2：选择所要上传的数据文件；

步骤a3：判断所述数据文件大小；

步骤a4：若文件大小超过1MB，就将其存入HDFS，并在HBase表中存储其基本信 息及在HDFS上的路径，否则进入步骤a5；以及

步骤a5：将文件序列化并直接存储在HBase数据库中。

3.根据权利要求2所述的方法，其特征在于，步骤b进一步包括：

步骤b1：对所有非结构化数据都在HBase数据库上创建元数据表和数据索引表， 所述元数据表中包括所述非结构化数据的元数据信息；

步骤b2：根据所述元数据表中元数据信息创建元数据索引表。

4.根据权利要求3所述的方法，其特征在于，所述元数据信息是用于描述非结构 化数据属性的信息，用来支持包括指示存储位置、资源查找、文件记录的功能，所述 元数据信息包括下述字段：表名、主题、标签以及文件格式；在所述元数据信息表中 以表名作为行键，用于通过表名进行查找。

5.根据权利要求4所述的方法，其特征在于，所述主题字段是对城市数据从大方 向上进行分类的，包括交通，环境和民情。

6.根据权利要求5所述的方法，其特征在于，所述标签字段是对城市各种主题数 据的进一步划分，所述交通主题数据具有道路监控视频、卡口图片的数据。

7.根据权利要求6所述的方法，其特征在于，所述数据索引表以所述非结构化数 据记录的语义标签为行键，以所有与所述语义标签相关的非结构化数据记录的主键为 内容，多个主键之间以“#”隔开，形式为<“语义标签”，“主键1#主键2#主键3#...”>； 所述语义标签字段是对每一条非结构化数据记录的描述，所述非结构化数据的主键即 文件名。

8.根据权利要求7所述的方法，其特征在于，所述元数据索引表以所述元数据信 息中的主题或标签字段为行键，内容为与所述主题或标签相关的所有数据表的表名， 多个表名以“#”隔开，形式为<“主题或标签”，“表名1#表名2#表名3#...”>。

9.根据权利要求8所述的方法，其特征在于，步骤c中，查询元数据时，根据要 查找的元数据标签或主题对元数据索引表进行查找，包括以下步骤：

步骤c1：确定所要查找数据的主题或标签；

步骤c2：以上一步得到的主题或标签信息为行键，对HBase中的元数据索引表进 行查找；

步骤c3：判断是否有所请求的主题或标签，有则返回元数据索引表中与所请求的 主题或标签对应的所有数据表的表名；以及

步骤c4：根据上一步得到的数据表的表名，在元数据表中以表名为行键找到对应 的元数据并返回，返回的信息包括表名、城市、主题、标签以及文件格式，无则返回 空。

10.根据权利要求9所述的方法，其特征在于，步骤d中，查询非结构化数据记 录时，进一步包括以下步骤：

步骤d1：首先通过步骤c4获得的数据表的表名查找非结构化数据记录对应的数 据索引表，所述数据索引表的表名由数据表的表名与“Index”拼接而成；

步骤d2：使用语义标签对数据索引表进行查找，获取所述语义标签对应的所有数 据记录的主键，即非结构化数据的文件名；以及

步骤d3：使用获取的数据记录主键在数据表中查找并返回所述非结构化数据记 录。