[发明专利]一种基于生命周期管理的一体化大数据管理平台

说明书

本发明公开了一种基于生命周期管理的一体化大数据管理平台，包括元数据管理子系统，用于对各类数据的元数据进行集中的存储、管理和维护；数据接入子系统，用于数据的接入；数据存储管理子系统，用于数据的持久化存储；数据检索子系统，用于数据的检索，根据用户所需查询的数据特征信息与所述元数据管理子系统交互，查找与数据特征信息一致的数据；运维管理子系统，用于数据的可视化管理，用于提供管理员所需的数据全貌及任务概况；消息层，用于消息中间件，用于提供数据传送的分布式环境；资源调度，用于各种资源进行合理有效的调节和测量及分析和使用；安全机制，用于数据的安全。有益效果：实现平台整体“高内聚、低耦合”的效果。

技术领域

本发明涉及大数据技术领域，具体来说，涉及一种基于生命周期管理的一体化大数据管理平台。

背景技术

大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性，大数据的意义是由人类日益普及的网络行为所伴生的，受到相关部门、企业采集的，蕴含数据生产者真实意图、喜好的，非传统结构和意义的数据。

随着社会的高速发展，数据迅速膨胀，量级不断扩大，并呈现出数据种类繁多、数据量大、价值密度低、速度快、时效高等特点，既有的技术架构和路线，已经无法高效处理如此海量的数据。如何实现海量数据高效的接入、存储、管理、检索，成为企业或组织业务发展转型过程中的极大技术挑战。因此，亟需一套基于数据生命周期、具备高效地“接、存、管、用”能力的一体化大数据管理平台。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供一种基于生命周期管理的一体化大数据管理平台，以解决上述背景技术中提出的问题。

本发明的技术方案是这样实现的：

根据本发明的一方面，提供了一种基于生命周期管理的一体化大数据管理平台。

该基于生命周期管理的一体化大数据管理平台包括：

元数据管理子系统，用于对各类数据的元数据进行集中的存储、管理和维护；

数据接入子系统，用于数据的接入，结合元数据，对数据进行自动分区计算；

数据存储管理子系统，用于数据的持久化存储，并在数据落地后，对存储进行优化；

数据检索子系统，用于数据的检索，根据用户所需查询的数据特征信息与所述元数据管理子系统交互，查找与数据特征信息一致的数据；

运维管理子系统，用于数据的可视化管理，用于提供管理员所需的数据全貌及任务概况；

消息层，用于消息中间件，用于提供数据传送的分布式环境；

资源调度，用于各种资源进行合理有效的调节和测量及分析和使用；

安全机制，用于数据的安全，对管理员进行认证和鉴别。

其中，所述数据接入子系统包括数据加载子模块、消息队列子模块、数据持久化子模块和数据存储子模块，其中，数据加载子模块，用于支持了HTTP、TCP、FTP在内的常用网络协议，也支持消息层的Kafka、RocketMQ等消息中间件，可启动Http Server、Tcp Server、Ftp Server等，用于从不同的客户端接入数据；消息队列子模块，用于数据的高速缓冲和多源汇聚；数据持久化子模块，用于从所述消息队列模块中指定主题消费数据，支持用户根据业务规则，将数据分拣入不同的通道中，还用于数据的最终落地；数据存储子模块，用于数据的存储。

其中，所述数据存储子模块包括分布式数据仓库、分布式KV库和分布式全文库。