[发明专利]一种用于射电日像仪海量数据管理的负数据库管理方法

说明书

技术领域

本发明涉及一种用于射电日像仪海量数据管理的负数据库管理方法，特别涉及一种结合利用射电日像仪观测产生的原始数据文件的数据组织特点、观测模式、波段以及极化特点，常用数据库作为负数据库的底层数据库、补集思想以及基于数据对的二分查找算法等来对射电日像仪海量原始数据中的元数据进行管理的方法，属于天文技术和海量数据管理领域。

背景技术

由于现代天文技术的发展以及信息技术的发展与进步，在过去的十几年间，国际上多个射电日像仪项目积累的数据已经从GB级跨越到了TB量级。还将会在今后的数年内从TB量级跨入PB量级。射电日像仪采集数据信息的天线数目越来越多，时间间隔越来越短，空间分辨率越来越高，时间分辨率也越来越高。这就导致射电日像仪的观测必然产生海量的原始数据。海量的原始数据必然会产生海量的元数据。海量的元数据必然会增加存储元数据所需的存储容量进而会影响到元数据的检索效率。由于像UVFITS文件的生成、积分等后期的数据处理都严重依赖数据管理系统，因此降低数据管理系统所需的存储容量以及获得与不使用负数据库管理系统一样的检索性能对其后续的科学数据处理以及科学研究具有重要的意义。

目前用于天文海量数据中元数据管理的方法主要基于两种数据库管理系统：一类是基于关系数据库管理系统（RDBMS）的方法对天文中海量的原始观测数据中的元数据进行管理；另一类是基于NoSQL(Not Only SQL)数据库管理系统的方法对天文中海量的原始观测数据中的元数据进行管理。其中基于RDBMS的方法是通过扫描海量的原始观测数据文件，依次提取出每个原始观测数据文件中的每个原始观测数据帧中的采样日期、采样时间、采样波段、采样波段的极化等元数据，并将提取到的每个原始数据帧中提取到的这些元数据逐条存入像Oracle、MySQL、Microsoft SQL Server、PostgreSQL、DB2这些RDBMS中来进行数据库的初始化工作。通过分析天文学家对海量原始观测数据文件中的原始观测数据帧的检索需求和其他数据处理需求，进而编写一些常用条件的查询程序来满足天文学家日常的对海量的原始数据文件中的原始观测数据帧的检索需求来满足对海量原始观测数据的检索需求。另一类基于NoSQL的方法虽然在检索性能上会略微优于基于RDBMS的方法，但是并不会降低这些元数据所占的存储容量。基于NoSQL的方法同样需要扫描海量的原始观测数据文件，并依次提取出原始观测数据文件中所有帧的元数据，并将提取到的元数据依次存储到像Redis、Fastbit、SciDB、MonetDB这些NoSQL数据库中来进行数据库的初始化工作。同样也是通过分析天文学家对海量原始观测数据的处理需求来编写相应的检索程序来满足天文学家对海量原始观测数据的检索性能需求。但是这些方法会随着天文原始观测数据的累积而需要增加大量的存储空间和给编程带来许多困难和巨大的挑战，同样也会降低对海量原始观测数据的检索性能，进而影响后续的科学数据处理和减少科学产出。

发明内容

本发明要解决的技术问题是提供一种用于射电日像仪海量数据管理的负数据库管理方法，根据原始观测数据文件中原始观测数据帧的元数据中的工作模式、波段、波段极化、观测日期、观测时间、每个数据帧有固定的观测时间间隔以及原始观测数据文件的组织方式等特征信息，采用补集的思想来表征原始观测数据文件中所有数据帧的逻辑关系以及所有数据帧的元数据信息，存储原始观测数据文件中的补集信息不仅保留了所有帧的元数据信息而且可以大大降级存储容量和原始数据帧的元数据的记录数和降低编程难度，同样也不会降低对元数据的检索性能。

本发明采用的技术方案是：一种用于射电日像仪海量数据管理的负数据库管理方法，包括如下步骤：

（1）负数据库的数据初始化：读取射电日像仪原始数据文件中首尾帧的采样时间；判断原始数据文件是否丢帧；根据原始数据文件丢帧情况提出并构造文件中所有帧的元数据的补集信息；存储补集信息到底层数据库；

（2）负数据库中数据的查询：根据条件检索出相应的补集信息；利用补集信息推导出所有帧的元数据；过滤出最终的元数据信息。

所述的负数据库的数据初始化，具体步骤如下：

Step1、找到要处理的原始数据文件所在的目录并提取所有原始数据文件的文件名；

Step2、取一个原始数据文件名并打开其对应的原始数据文件；

Step3、读取原始数据文件中第一帧和最后一帧中的元数据；

Step4、根据首尾两帧元数据中的观测时间判断有没有丢帧；