[发明专利]一种数据管理系统、数据故障修复方法及装置

权利要求书

1.一种数据管理系统，其特征在于，该系统包括：操作数据层、基础数据层、接口数据层和结果层；

其中，所述操作数据层用于采集原始数据并保存至分布式文件系统HDFS中与所述操作数据层对应的目录中；

所述基础数据层将保存在所述HDFS中与所述操作数据层对应的目录的数据进行数据清洗后，保存至所述HDFS中与所述基础数据层对应的目录中；

所述接口数据层用于将保存在所述HDFS中与所述基础数据层对应的目录的数据结构化后，保存至所述HDFS中与所述接口数据层对应的目录中；

所述结果层用于将保存在所述HDFS中与所述接口数据层对应的目录的数据进行格式转化后，保存至所述HDFS中与所述结果层对应的目录中。

2.根据权利要求1所述的数据管理系统，其特征在于，所述操作数据层采集原始数据并保存至所述HDFS中与所述操作数据层对应的目录中的过程，包括：

所述操作数据层采集日志的原始数据，并将所述日志的原始数据按照HDFS格式转换为流式数据流后，保存至所述HDFS中与所述操作数据层对应的目录中。

3.根据权利要求1所述的数据管理系统，其特征在于，所述接口数据层将保存在所述HDFS中与所述基础数据层对应的目录的数据结构化后，保存所述HDFS中与所述接口数据层对应的目录中的过程，包括：

所述接口数据层将保存在所述HDFS中与所述基础数据层对应的目录的数据按照avro格式进行格式转换，得到转换后的目标数据；

将所述目标数据进行反序列化后保存至所述HDFS中与所述接口数据层对应的目录中。

4.根据权利要求3所述的数据管理系统，其特征在于，所述接口数据层将所述目标数据进行反序列化后，保存至所述HDFS中与所述接口数据层对应的目录中的过程，包括：

使用KafkaConncetor通用框架的反序列化技术，将所述目标数据进行反序列化后保存至所述HDFS中与所述接口数据层对应的目录中。

5.一种数据故障修复方法，其特征在于，用于对权利要求1-4任一项的数据管理系统中的故障数据进行修复，该方法包括：

确定故障数据在所述HDFS中的存储目录；

基于所述故障数据的存储目录修复所述故障数据。

6.根据权利要求5所述的数据故障修复方法，其特征在于，若所述故障数据为所述HDFS中与所述操作数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据，包括：

修复所述HDFS中与所述操作数据层对应的目录的数据；

基于修复后的数据，分别修复所述HDFS中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。

7.根据权利要求5所述的数据故障修复方法，其特征在于，若所述故障数据为所述HDFS中与所述基础数据层对应的目录的数据，所述基于所述故障数据的存储目录修复所述故障数据，包括：

判断所述HDFS中与所述操作数据层对应目录的数据是否存在故障；

若所述HDFS中与所述操作数据层对应目录的数据不存在故障，则修复HDFS中与所述基础数据层对应的目录的数据，并基于修复后的数据，分别修复所述HDFS中与所述接口数据层及所述结果层对应的目录的数据；

若所述HDFS中与所述操作数据层对应目录的数据存在故障，则修复所述HDFS中与所述操作数据层对应目录的数据后，再基于修复后的数据，分别修复所述HDFS中与所述基础数据层、所述接口数据层及所述结果层对应的目录的数据。