[发明专利]一种访问HDFS分布式存储系统的标准接口

摘要

本发明公开了一种访问HDFS分布式存储系统的标准接口，本发明通过将数据库的系统表信息存储在分布式数据库的master节点的本地文件，而其他所有表中数据存储到HSFS中。最终用户通过master节点接收客户端连接，并处理客户端的命令，master节点解析查询，优化查询，并向segment分发查询，并协调查询执行，master节点存储所有系统的元数据，不存储任何用户数据。本发明的有益效果通过将元数据存储到master主机上的本地文件系统中，将其它所有表数据存储到HDFS中，而segment不存储任何状态和数据信息，只负责计算，从而实现读写存储和计算的分离，可以动态启动任意多个虚拟segment来执行查询，提高了执行效率。在Segment不保存状态，使得集群更容易扩展。

主权项

一种访问HDFS分布式存储系统的标准接口，其特征在于，包括：主节点和若干分区节点；所述主节点包括查询解析器，用于解析查询，并检查语法及语义，最终生成查询树传递给优化器；优化器，用于接受查询树，生成查询计划；资源管理器，用于进行资源管理，通过资源代理向全局资源管理器动态申请资源，并缓存资源，在不需要的时候返回资源；HDFS元数据缓存模块，用于接口确定分区节点对应所需扫描的表的位置；容错服务模块，用于检测节点的可用性；查询分发器，用于在优化器优化查询以后，派遣计划到各个节点上执行，并协调查询执行的整个过程；元数据服务模块，负责存储接口的各种元数据；所述分区节点包括物理分区节点，用于启动查询执行器；数据节点，用于存储相关查询信息，包括所请求表的HDFS url地址；节点管理器，用于管理节点；虚拟分区节点，用于执行查询。