[发明专利]一种面向能源大数据生态的轻型化数据管理系统

说明书

本发明公开了一种面向能源大数据生态的轻型化数据管理系统，包括：数据策略管理模块，用于定义、调度和执行数据策略；元数据管理模块，用于文件系统和元数据操作的RESTful API管理；通过本发明，为数据管理提供了一个轻量级的模型和工具，能够集成到现有的工作流和计算环境中，将云工具与基础设施(如磁带归档、HPSS和Globus)集成在一起，并且能够使用流行的工具和格式进行自定义和配置。

技术领域

本发明属于数据管理技术领域，具体涉及一种面向能源大数据生态的轻型化数据管理系统。

背景技术

近年来，数据科学、机器学习和类似学科的成功推动了计算和数据密集型方法在许多科学领域的应用急剧增加。因此，一些部门和IT提供商必须适应并使用网络基础设施来管理产生的大量数据。一类网络基础设施服务是管理和追踪实时数据的软件系统。这些数据在工程活动中被积极使用，并不一定构成最终产品。

在创建强大的、通用的数据管理系统时，实时数据的异构性以及用于跨不同领域分析数据的工具和平台是一个重大挑战。在数据管理解决方案的特定范围内，使用人员可能利用某种策略，如用于文件存储和文件共享，并采用处理数据的约定。这是一种非侵入性的方法，因为它保持较低的抽象级别，并以原始形式处理数据。此外，这种策略不会干扰围绕现有计算环境和分析工具的工作流。然而，这种策略无法扩展到大型团队或大数据量中，并且可能导致数据存储和保存中的不一致、遗漏和重复，从而阻碍研究产出、可重现性和开放科学。例如，未能保留从传感器或仪器收集的原始数据的副本，或未能跟踪工艺参数。

发明内容

为解决上述问题，本发明构建了一个数据管理框架，用于解决共享电子笔记本(ELN)和科学网关在现有工作流中出现重大的变化而不实际的情况。该框架基于广泛应用于工业领域的开源工具，可以扩展到广泛的工作流，补充了网元和科学网关的数据管理功能。

本发明采用如下技术方案：

一种面向能源大数据生态的轻型化数据管理系统，包括：

数据策略管理模块，用于定义、调度和执行数据策略；

元数据管理模块，用于文件系统和元数据操作的RESTful API管理；

其中，文件系统的RESTful API用于设置允许操作文件系统的内容或远程下载文件的权限；元数据的RESTful API用于设置允许创建、编辑、删除和搜索与文件对象关联的元数据项的权限；

当一个文件被移动时，它的元数据被重新分配给正确的文件系统对象。当一个新文件进入系统时，相关的自动提取程序被触发，当文件被删除时，它的元数据条目也被删除。

进一步地，数据策略管理模块布置于Apache Airflow上，用于创作工作流；其中，所述工作流是一个或多个依赖任务组成的有向无环图；给定的所述数据策略有一个或多个有向无环图实现。

进一步地，数据策略管理模块连接一监控模块，所述监控模块用于检查工作流的有向无环图的代码，调度、监控执行状态及检查日志。

进一步地，数据策略管理模块设置用于与工程日常中可用的网络基础设施接口的数据策略的应用程序接口和模板。

进一步地，数据策略管理模块和元数据管理模块的部署方式为单独部署或集成部署。

进一步地，通过设置所述元数据管理模块适配不同的存储后端，以使元数据目录支持不同类型数据库的存储系统。

进一步地，元数据管理模块允许基于正则表达式的提取规则规范，以适应工程部门自动提取元数据的命名约定。