[发明专利]一种面向海量天文数据的存取优化系统

说明书

本发明公开了一种面向海量天文数据的存取优化系统，采用Greenplum分布式并行数据库集群存储海量天文数据，所述存取优化系统包括：数据库集群模块、构建模块、扫描模块和客户端，所述客户端用于输入查询语句以及显示查询结果，所述客户端输入查询语句发送至扫描模块，借助Greenplum的分布式并行计算模型，通过其用户自定义函数实现伪空间球面索引的并行构建，解决了海量天文数据在单机关系型数据库上索引构建耗时高、资源消耗大等问题，对基于伪空间球面索引技术实现的交叉证认操作，通过使用位图逻辑操作实现对其执行性能的进一步优化提升。

技术领域

本发明涉及数据分析技术领域，具体涉及一种面向海量天文数据的存取优化系统。

背景技术

随着各国对天文领域的不断研究以及高精尖仪器的投入使用，天文观测扩展到了包括可见光、红外、射电、紫外线、X射线和r射线在内的电磁波各个波段，形成了多波段天文学。正是由于多波段天文时代的到来，天文学家在天文领域迈入了全新的阶段。不同于其他科学领域，由于天文领域中天文数据的弥足珍贵性，如何高效的存取与管理天文数据成为当前天文领域中亟待解决的问题。

当前天文数据早已达到TB级甚至PB级，而且就目前的天文发展态势来看，天文数据的增长还会持续下去，天文数据形式也会趋于多种多样，按照天文数据的存储内容可以分为星表、星图、光谱等。因为各个天文观测机构都有自己的格式标准，天文星表数据都被存储在关系型数据库(Relational Database Management System,RDBMS)中，然而，由于RDBMS数据模型主要支持堆表行存储方式，而对于以宽表为主的星表执行仅涉及少数字段的天文分析任务来说，存在严重的I/O浪费现象。

由于天文分析任务的特殊性，RDBMS堆表结构的存储方式在复杂天文分析中存在严重的I/O浪费，传统的RDBMS无法满足海量天文数据对存取性能的新需求。

发明内容

在本发明的目的在于提供一种面向海量天文数据的存取优化系统，以解决上述背景技术中提出的问题。

本发明实施例公开了一种面向海量天文数据的存取优化系统，其特征在于，采用Greenplum分布式并行数据库集群存储海量天文数据，所述数据库集群借助Greenplum的分布式并行计算模型，所述Greenplum数据库的系统架构包括：管理节点，包括master节点和standby master节点，用于管理整个Greenplum数据库系统；Interconnect组件，用于并行查询计划的产生和分发，协调各个节点上查询执行器的并行工作，并负责数据分布等任务；子节点服务器，业务数据的存储和存取，执行由Master节点分发的SQL语句。

所述存取优化系统包括：数据库集群模块、构建模块、扫描模块和客户端，所述客户端用于输入查询语句以及显示查询结果，所述客户端输入查询语句发送至扫描模块。

所述数据库集群模块包括天文星表ipix字段，所述ipix字段由构建模块计算所得，所述构建模块为ipix字段在数据库集群模块中构建B-Tree索引。

所述扫描模块用于访问数据库集群模块中的ipix字段，利用CTE将字段值使用数组聚合函数转存为内存数组，再进一步利用Roaring Bitmap提供的位图构建接口将内存数组转换为内存位图，所述扫描模块根据内存位图向客户端反馈索引结果。

优选的，所述Greenplum数据库通过UDF扩展机制对Roaring Bitmap位图支持，所述Greenplum数据库采用主从Master结构，每个从节点包括一定数量的段数据库实例，存储在Greenplum数据库中的数据根据指定的分布键存储在不同的段数据库上。