[发明专利]一种针对海量非结构化数据的资源管理方法

摘要

本发明提供一种针对海量非结构化数据的资源管理方法，包括：步骤a：根据非结构化数据文件的大小确定其存储方式，将文件存储在HDFS上或HBase数据库中；步骤b：将数据的元数据信息都存储在HBase中，并根据元数据的主题、标签等信息建立元数据的索引表，加快查询速度；步骤c：查询元数据时，可以根据要查找的元数据的主题或标签对元数据索引表进行查找，快速定位数据表；以及步骤d：查询非结构化数据记录时，需要根据数据索引表的命名规则找到数据表对应的数据索引表，之后在数据索引表中查找数据的语义标签，找到所要查找的数据记录主键，然后根据主键在数据表中快速定位数据。本发明方法能够对海量非结构化数据进行有效组织和管理，能够进行快速、高效地查询。

主权项

一种针对海量非结构化数据的资源管理方法，其特征在于，包括以下步骤：步骤a：根据非结构化数据文件的大小确定其存储方式，当所述非结构化数据文件大小超过给定阈值时，将其存入HDFS文件系统，并在HBase上创建的数据表中存储其基本信息及在HDFS上的路径；当所述非结构化数据文件大小小于等于给定阈值时，将所述文件序列化并直接存储在HBase数据库中；步骤b：根据所述非结构化数据构建元数据表和数据索引表，并利用所述元数据表构建元数据索引表；步骤c：当查询元数据时，根据要查找的元数据的主题或标签对所述元数据索引表进行查找，以获得对应的数据表；以及步骤d：当查询非结构化数据记录时，根据所述数据索引表的命名规则找到数据表对应的数据索引表，之后在所述数据索引表中查找所述非结构化数据记录的语义标签，获得所要查找的数据记录的主键，然后根据所述主键在所述数据表中快速定位数据。