[发明专利]支持多数据库引擎的数据生命周期管理的实现方法

摘要

本发明公开了一种支持多数据库引擎的数据生命周期管理的实现方法，所述方法包括：通过Hive MetaStore服务，创建具有生命周期的依赖Hive元数据的Hive表、HBase表和ElasticSearch表；HBase、ElasticSearch集群对SSD盘和HDD盘进行存储；定期调用生命周期管理服务，读取Hive MetaStore服务中表元数据的生命周期信息和分区信息，计算是否存在过期的分区数据，如果存在，根据表元数据信息判断表的类型，依据不同表数据存储类型，调用相应的数据生命周期管理服务，根据表元数据中规则，自动对过期的数据进行删除或迁移。

主权项

1.一种支持多数据库引擎的数据生命周期管理的实现方法，其特征在于，包括：通过Hive MetaStore服务，创建具有生命周期的依赖Hive元数据的Hive表、HBase表和ElasticSearch表；对于HBase数据库引擎，在Hadoop集群HDFS文件系统层，指定SSD盘和HDD盘的访问目录，基于该Hadoop集群分别启动两个HBase集群，设置SSD盘目录的HBase集群作为存放热点数据的HBase集群，设置HHD盘目录的集群作为存放冷数据的HBase集群；对于ElasticSearch数据库引擎，分别安装两个ElasticSearch集群，一个集群的数据存储路径设置为SSD盘的路径，作为存放热点数据的ElasticSearch集群；一个集群数据存储路径设置为HDD盘的路径，作为存放冷数据的ElasticSearch集群；定期调用生命周期管理服务，读取Hive MetaStore服务中表元数据的生命周期信息和分区信息，计算是否存在过期的分区数据，如果存在，根据表元数据信息判断表的类型，依据不同表数据存储类型，调用相应的数据生命周期管理服务，根据表元数据中规则，自动对过期的数据进行删除或迁移。