[发明专利]一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统

说明书

本发明公开了一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统，其中方法包括以下步骤：S1、对虚拟数据湖的节点位置进行布设；S2、管理员对异构文件系统相关信息进行配置；S3、管理员通过虚拟数据湖服务端创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一服务虚拟目录视图，实现数据虚拟入湖；S4、在虚拟数据湖服务端创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；S5、用户挂载文件目录访问客户端，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。本发明能够解决目前一台存储设备已无法满足容量的需求的技术问题。

技术领域

本发明属于大数据技术领域，具体涉及一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统。

背景技术

气象数据是开展气象工作的基础，而地域范围广、时空密度大、种类类型多、时效性强、价值密度高的气象数据资源，尤其是伴随高分气象卫星发射、高时空分辨率数值模式发展、高探测精度雷达站的广泛部署等情况所产生的卫星、模式、雷达等非结构化气象数据对气象预报预测、应对气候变化、公共气象服务以及农业、能源、交通等各行业应用均起到了巨大的支撑保障作用。

气象数据在增长的同时其存储系统还需满足应用对存储时效和数据的分级存储需求，就目前存储技术而言，单独一台存储设备已无法满足此容量的需求，多样异构存储系统的复杂性使气象数据底层存储集约化管理面临巨大的挑战；尤其是面对需要长历史序列气象数据的科学分析研究，如气候变化预测和气象数据挖掘分析等应用场景需求的扩大，数据访问服务已经不能够为用户无感知地提供各类数据的历史序列，且并不能够根据应用场景的不同支持多种数据访问方式，如FTP，S3,CIFS,NFS等。对于非结构化气象数据的使用者而言，以直接访问目录方式进行数据访问获取是较为便捷和理想状态，所以如何建立一种气象数据文件目录服务方式，将非结构化气象数据以更加高效、便捷并且规范化的文件目录方式提供给气象业务系统以及科研人员使用具有重大的研究意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统。

本发明的第一个目的是提供一种基于虚拟数据湖的气象数据文件目录服务生成方法，包括以下步骤：

S1、对虚拟数据湖的节点位置进行布设；

S2、管理员通过虚拟数据湖服务端上的后台管理服务系统对异构文件系统相关信息进行配置；

S3、管理员通过虚拟数据湖服务端上的后台管理服务系统界面创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一的服务虚拟目录视图，实现数据虚拟入湖；

S4、根据用户使用需求，在虚拟数据湖服务端上的后台管理服务系统创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；

S5、用户挂载虚拟数据湖文件目录访问客户端，根据管理员为该用户配置的读写权限，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。

优选的，步骤S2中，所述相关信息为存储类型、读写控制、挂载点和网络地址。

优选的，步骤S4中，所述授权方式为直接按照目录层级结构进行授权的方式和按照目录层级中时间信息实现按时间段或近期天数进行授权的方式中的任意一种。

本发明的第二个目的是提供一种基于虚拟数据湖的气象数据文件目录服务生成系统，包括虚拟数据湖服务端和虚拟数据湖文件目录访问客户端；

所述虚拟数据湖服务端包含worker节点和master节点，所述master节点用于集群状态和元数据管理，worker节点用于负责处理文件系统的读写操作请求；