[发明专利]一种野外地质调查数据实时汇聚方法及系统

说明书

本发明公开一种野外地质调查数据实时汇聚方法及系统。方法包括：获取待汇聚的项目文件，所述项目文件包括多个子项目文件；布设一个Hadoop集群；将各所述子项目文件中的野外地质调查数据分别对应上传至不同数据组织形式的目录，形成项目成果资料，所述目录包括多个子项目数据目录；记录各子项目文件中野外地质调查数据的资源描述信息，并存储至数据库中；将所述项目成果资料数据复制至二级项目；更新所述资源描述信息，所述资源描述信息包括资源类型、资源名称和资源大小；将各所述子项目文件中的野外地质调查数据内容抽取出来存储到所述Hadoop集群。本发明能够快速地汇聚数据，并且方便上级项目高效地管理汇聚数据。

技术领域

本发明涉及地质调查领域，特别是涉及一种野外地质调查数据实时汇聚方法及系统。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

地学地质项目基于野外采集而来的地理数据，传统的地学地质项目数据汇聚往往是通过人工交付项目的纸质材料至地调局，然后地调局将接收到的项目资料自行整理存储至计算机中。这种数据汇聚方法在地理数据量较小时是适用的，但是当数据量级别很大、数据种类繁多时，这种方法明显是行不通的；除此之外，现阶段的地质项目缺乏对项目组织架构的高效利用，导致上级项目无法系统性地管理这些数据。

发明内容

本发明的目的是提供一种野外地质调查数据实时汇聚方法，能够快速地汇聚数据，并且方便上级项目高效地管理汇聚数据。

为实现上述目的，本发明提供了如下方案：

一种野外地质调查数据实时汇聚方法，其特征在于，包括：

获取待汇聚的项目文件，所述项目文件包括多个子项目文件；

布设一个Hadoop集群，所述Hadoop集群用于在线存储各所述子项目文件中的野外地质调查数据；

将各所述子项目文件中的野外地质调查数据分别对应上传至不同数据组织形式的目录，形成项目成果资料，所述目录包括多个子项目数据目录；

记录各子项目文件中野外地质调查数据的资源描述信息，并存储至数据库中；

将所述项目成果资料数据复制至二级项目；

更新所述资源描述信息，所述资源描述信息包括资源类型、资源名称和资源大小；

将各所述子项目文件中的野外地质调查数据内容抽取出来存储到所述Hadoop集群。

可选的，所述方法还包括：

获取各所述子项目文件中的野外地质调查数据内容的大小；

根据各所述子项目文件中的野外地质调查数据内容的大小传输文件。

可选的，所述根据各所述子项目文件中的野外地质调查数据内容的大小传输文件，具体包括：

获取设定子项目文件大小值；

若所述子项目文件中的野外地质调查数据内容的大小大于所述设定子项目文件大小值，则将所述子项目文件进行分片传输，并将传输后的片文件合并为一个完整的项目文件；

若所述子项目文件中的野外地质调查数据内容的大小小于或等于所述设定子项目文件大小值，则直接传输所述子项目文件。

可选的，所述子项目数据目录包括：区域地质图、野外路线数据、地质文档资料和卫星遥感影像以及其他用户自定义的文件夹。

可选的，所述将各所述子项目文件中的野外地质调查数据分别对应上传至不同数据组织形式的目录，形成项目成果资料，所述目录包括多个子项目数据目录，具体包括：