[发明专利]基于Hadoop分布式文件系统的表数据的有序管理方法以及系统

权利要求书

1.一种基于Hadoop分布式文件系统（HDFS）的表数据的有序管理方法，包括：

接收待操作的表的名称和包括多个操作记录的批量数据，所述操作记录包括对表记录的操作的信息以及包括键值的操作数据；

基于Hadoop，根据操作记录中的键值对所述批量数据进行抽样排序，并且生成分区标尺；

基于Hadoop，根据操作记录中的键值和生成的分区标尺，对所述批量数据进行排序；

基于Hadoop，对经排序的所述批量数据生成索引数据，每条索引包括操作记录的键值、存储有所述批量数据的文件名以及所述操作记录的偏移值；

在HDFS系统的指定目录下以文件形式存储经排序的批量数据和生成的索引数据；

将所述表的名称、存储有所述批量数据的文件的文件名、存储有所述索引数据的文件的文件名以及所述指定目录的路径数据发送给主服务器。

2.如权利要求1所述的方法，其特征在于，所述对表记录的操作是插入、修改以及删除中的一个。

3.如权利要求2所述的方法，其特征在于，所述基于Hadoop对经排序的所述批量数据生成索引数据的步骤包括：基于Hadoop，对经排序的所述批量数据生成抽样索引数据。

4.如权利要求3所述的方法，还包括：向主服务器发送包括所述表的名称的路径数据请求，并且从主服务器接收包括所述表的路径数据的响应，其中，在所述接收的路径数据指示的目录下以文件形式存储经排序的批量数据和生成的索引数据。

5.如权利要求3所述的方法，还包括：

从主服务器接收操作结果；

显示所述操作结果。

6.一种基于Hadoop分布式文件系统（HDFS）的表数据的有序管理方法，包括：

从客户端接收表的名称、批量数据文件的文件名、索引数据文件的文件名以及表的路径数据；

根据接收的表名称在表管理数据中查找相应的表信息，所述表管理数据中的每条表信息包括表名称、表的路径数据以及各个索引数据文件的文件名；

如果没有找到相应的表信息，则在表管理数据中添加包括接收的表的名称、接收的表的路径数据以及索引数据文件的文件名的表信息；

如果找到了相应的表信息，则在找到的表信息中添加所述表的索引数据文件的文件名；

选择索引服务器，并且向选择的索引服务器发送表的名称、表的路径数据和索引数据文件的文件名；

在索引服务器管理数据中记录关于所述索引服务器管理所述表的所述索引数据的信息。

7.如权利要求6所述的方法，还包括：向所述客户端发送操作结果。

8.一种基于Hadoop分布式文件系统（HDFS）的表数据的有序管理方法，包括：

从主服务器接收表的名称、表的路径数据和索引数据文件的文件名；

根据所述表的路径数据和索引数据文件的文件名加载相应的索引数据。

9.一种从基于Hadoop分布式文件系统（HDFS）读取表数据的方法，包括：

接收表名称以及索引键值；

向主服务器发送包括所述表名称的第一请求；

从主服务器接收包括表的路径数据以及索引服务器信息的第一响应；

分别向接收的索引服务器信息指示的各个索引服务器发送包括所述表名称和索引键值的第二请求；

从所述各个索引服务器接收包括表数据的文件名和偏移值的第二响应；

根据接收的表的路径数据、表数据的文件名和偏移值以及接收的索引键值读取包括操作信息以及操作数据的目标记录；

根据读取的目标记录的写入顺序以及目标记录中的操作信息构建要返回的表记录；并且

发送构建的表记录。

10.如权利要求9所述的方法，其特征在于，所述对表记录的操作是插入、修改以及删除中的一个。