[发明专利]一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统

权利要求书

1.一种基于虚拟数据湖的气象数据文件目录服务生成方法，其特征在于，包括以下步骤：

S1、对虚拟数据湖的节点位置进行布设；

S2、管理员通过虚拟数据湖服务端上的后台管理服务系统对异构文件系统相关信息进行配置；

S3、管理员通过虚拟数据湖服务端上的后台管理服务系统界面创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一的服务虚拟目录视图，实现数据虚拟入湖；

S4、根据用户使用需求，在虚拟数据湖服务上的后台管理服务系统创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；

S5、用户挂载虚拟数据湖文件目录访问客户端，根据管理员为该用户配置的读写权限，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。

2.如权利要求1所述的基于虚拟数据湖的气象数据文件目录服务生成方法，其特征在于，步骤S2中，所述相关信息为存储类型、读写控制、挂载点和网络地址。

3.如权利要求1所述的基于虚拟数据湖的气象数据文件目录服务生成方法，其特征在于，步骤S4中，所述授权方式为直接按照目录层级结构进行授权的方式和按照目录层级中时间信息实现按时间段或近期天数进行授权的方式中的任意一种。

4.一种基于虚拟数据湖的气象数据文件目录服务生成系统，其特征在于，包括虚拟数据湖服务端和虚拟数据湖文件目录访问客户端；

所述虚拟数据湖服务端包含worker节点和master节点，所述master节点用于集群状态和元数据管理，worker节点用于负责处理文件系统的读写操作请求；

所述虚拟数据湖文件目录访问客户端，用于将虚拟文件系统挂载到用户端服务器，通过调用虚拟数据湖worker节点提供的文件共享接口，实现将远端的虚拟文件系统挂载到本地的文件系统。

5.如权利要求4所述的基于虚拟数据湖的气象数据文件目录服务生成系统，其特征在于，所述master节点包含后台管理服务系统和元数据服务模块，所述后台管理服务系统用于负责异构文件系统统一管理与服务，系统日志审计及用户行为记录可视化分析；所述元数据服务模块用于负责系统元数据信息存储，并将元数据信息同步给worker节点。

6.如权利要求4所述的基于虚拟数据湖的气象数据文件目录服务生成系统，其特征在于，所述worker节点包含存储接入服务模块、文件块缓存服务模块、虚拟文件系统服务模块和文件共享服务模块，所述存储接入服务模块用于负责适配异构存储系统，集成各种后端存储，所述文件块缓存服务模块用于负责在读写后端存储系统的文件后缓存数据，所述虚拟文件系统服务模块用于负责管理虚拟文件系统与后端存储的数据读写管理和用户权限校验，所述文件共享服务模块用于负责对外提供文件访问接口。