[发明专利]基于Spark的大规模天文数据天区覆盖生成方法

摘要

本发明涉及一种基于Spark的大规模天文数据天区覆盖生成方法，其主要技术特点是：使用Spark的map算子并结合HEALPix层次化球面索引方法，根据赤经、赤纬信息对数据逐条进行分块索引；使用Spark的map算子，利用位运算对当前层每条数据的HEALPix块号进行父块块号及子块块号的分割操作；使用Spark的combineByKey算子对所有区块进行聚合操作；以上操作进行反复迭代，直至满足迭代终止条件，得到天区覆盖生成后的数据。本发明本发明设计合理，能够在短时间内完成大规模天文数据的天区覆盖生成，为实现海量天文数据的快速归档提供了支持，提升了对数据进行访问、处理的效率，此外本发明生成的结果可用于数据可视化，为研究人员直观地展现出星表中的天文数据在天区上的分布情况。

主权项

一种基于Spark的大规模天文数据天区覆盖生成方法，其特征在于包括以下步骤：步骤1：从HDFS中读取天文数据，使用Spark的map算子并结合HEALPix层次化球面索引方法，根据赤经、赤纬信息对数据逐条进行分块索引，将每条数据中不相关的信息以唯一Id代替，并将各个HEALPix块号调整为键；步骤2：从最低层级开始，使用Spark的map算子，利用位运算对当前层每条数据的HEALPix块号进行父块块号及子块块号的分割操作，获得相应的父块号highOrder和子块号lowOrder，最后将每条数据的父块号highOrder调整为键；步骤3：使用Spark的combineByKey算子，对步骤2处理完成的所有区块进行聚合操作；如果聚合后的结果满足条件，则全部HEALPix块号由对应的父块号highOrder代替并且被带到下次迭代，不满足条件的数据会暂存至文件系统；步骤4：以上操作进行反复迭代，若满足结束条件，停止迭代，每次迭代输出至文件系统的数据即为最终完成天区覆盖生成后的数据。