[发明专利]一种基于生命周期管理的一体化大数据管理平台

权利要求书

1.一种基于生命周期管理的一体化大数据管理平台，其特征在于，包括：

元数据管理子系统，用于对各类数据的元数据进行集中的存储、管理和维护；

数据接入子系统，用于数据的接入，结合元数据，对数据进行自动分区计算；

数据存储管理子系统，用于数据的持久化存储，并在数据落地后，对存储进行优化；

数据检索子系统，用于数据的检索，根据用户所需查询的数据特征信息与所述元数据管理子系统交互，查找与数据特征信息一致的数据；

运维管理子系统，用于数据的可视化管理，用于提供管理员所需的数据全貌及任务概况；

消息层，用于消息中间件，用于提供数据传送的分布式环境；

资源调度，用于各种资源进行合理有效的调节和测量及分析和使用；

安全机制，用于数据的安全，对管理员进行认证和鉴别。

2.根据权利要求1所述的一种基于生命周期管理的一体化大数据管理平台，其特征在于，所述数据接入子系统包括数据加载子模块、消息队列子模块、数据持久化子模块和数据存储子模块，其中，

数据加载子模块，负责支持了HTTP、TCP、FTP在内的常用网络协议，也支持消息层的Kafka、RocketMQ等消息中间件，可启动Http Server、Tcp Server、Ftp Server等，用于从不同的客户端接入数据；

消息队列子模块，用于数据的高速缓冲和多源汇聚；

数据持久化子模块，用于从所述消息队列模块中指定主题消费数据，支持用户根据业务规则，将数据分拣入不同的通道中，还用于数据的最终落地；

数据存储子模块，用于数据的存储。

3.根据权利要求2所述的一种基于生命周期管理的一体化大数据管理平台，其特征在于，所述数据存储子模块包括分布式数据仓库、分布式KV库和分布式全文库。

4.根据权利要求3所述的一种基于生命周期管理的一体化大数据管理平台，其特征在于，所述数据存储管理子系统包括小文件合并子模块、生命周期管理子模块和分级存储子模块，其中，

小文件合并子模块，用于对小文件进行合并任务，使多个小文件合并产生大文件；

生命周期管理子模块，用于对存储数据进行过期删除，支持对分布式数据仓库Hive和分布式全文库Elasticsearch进行数据自动删除；

分级存储子模块，负责对数据进行分级存储。

5.根据权利要求4所述的一种基于生命周期管理的一体化大数据管理平台，其特征在于，所述运维管理子系统包括部署子模块、配置子模块、管理子模块、监控子模块、数据全貌子模块和任务监控子模块，其中，

部署子模块，用于服务部署；

配置子模块，用于服务配置；

管理子模块，用于对节点、服务进行管理，如在线添加、删除节点或服务，在线修改服务配置等；

监控子模块，用于监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控，可对硬件服务器网络、内存、磁盘等进行实时监控，对服务的内存使用，活跃状态进行实时监控；

数据全貌子模块，用于对数据全貌进行监控；

任务监控子模块，用于对任务概况进行监控。

6.一种基于生命周期管理的一体化大数据管理方法，其特征在于，用于权利要求5所述的基于生命周期管理的一体化大数据管理平台，包括以下步骤：

数据接入子系统接受用户存储数据；

数据接入子系统对所述存储数据进行处理，确定所述存储数据的特征；

数据接入子系统依据所述存储数据特征落地存储；

根据预先设置的小文件阈值，数据存储管理子系统对处于阈值内的存储数据进行合并；

根据预先设置的存储数据的存储时间周期，数据管理子系统对过期的所述存储数据删除。

7.根据权利要求6所述的一种基于生命周期管理的一体化大数据管理方法，其特征在于，数据接入子系统对所述存储数据进行处理，确定所述存储数据的特征包括：

预先配置元数据的数据模式、分区规则、存储规则等信息；

结合元数据，数据持久化子模块对存储数据进行自动分区计算知晓所述存储数据的目标分区。