[发明专利]一种数据管理系统、数据故障修复方法及装置

说明书

本申请公开了一种数据管理系统及数据故障修复方法、装置。该系统包括操作数据层、基础数据层、接口数据层和结果层；操作数据层用于采集原始数据并保存至HDFS中与操作数据层对应的目录中；基础数据层用于将保存在至HDFS中与操作数据层对应的目录中的数据进行清洗后，保存至HDFS中与基础数据层对应的目录中；接口数据层用于将保存在至HDFS中与基础数据层对应的目录中的数据结构化后，保存至HDFS中与接口数据层对应的目录中；结果层用于将保存在HDFS中与接口数据层对应的目录中的数据进行格式转化后，保存至HDFS中与结果层对应的目录中。本申请通过对数据转化后再统一保存，有利于对数据进行梳理，提高数据分析的效率。

技术领域

本申请涉及互联网技术领域，更具体地说，涉及一种数据管理系统、数据故障修复方法及装置。

背景技术

随着移动互联网的快速发展，不同行业、不同规模的单位、企业之间构建基于互联网的跨界融合合作成为发展趋势。很多企业的业务由单一业务变成复杂多变的业务，各方合作所产生的业务数据也非常庞大且复杂。

为了更好地促进各合作方之间的合作，需要对各合作方的业务数据进行科学管理，以便更好地为各合作方提供服务。由于各合作方的业务的复杂性，想要做好业务数据的管理并不容易，对于各个行业的客户来说，如何保障对于用例数据的安全以及如何实现对数据高效利用无疑是市场重点。目前，大部分的数据管理方案难以适应复杂多变的业务数据。因此，亟需研发一套通用的数据管理解决方案，用于解决各行业构建基于互联网的跨界融合合作的数据管理难的问题。然而，由于各合作方的业务具有较大复杂性，想要开设一套通用的数据管理解决方案，不仅需要考虑存储资源的可用性、稳健性和持久性，还要考虑存储容量、部署成本、数据追踪和故障修复等一系列问题。

为了保证各个行业的不同企业之间的合作正常运行，亟需一套能够高效地管理各合作方的业务数据的方案，用于解决数据管理难的问题。

发明内容

有鉴于此，本申请提供了一种数据管理系统、数据故障修复方法及装置，用于解决数据管理难的问题。

一种数据管理系统，该系统包括：操作数据层、基础数据层、接口数据层和结果层；

其中，所述操作数据层用于采集原始数据并保存至分布式文件系统HDFS中与所述操作数据层对应的目录中；

所述基础数据层将保存在所述HDFS中与所述操作数据层对应的目录的数据进行数据清洗后，保存至所述HDFS中与所述基础数据层对应的目录中；

所述接口数据层用于将保存在所述HDFS中与所述基础数据层对应的目录的数据结构化后，保存至所述HDFS中与所述接口数据层对应的目录中；

所述结果层用于将保存在所述HDFS中与所述接口数据层对应的目录的数据进行格式转化后，保存至所述HDFS中与所述结果层对应的目录中。

优选地，所述操作数据层采集原始数据并保存至所述HDFS中与所述操作数据层对应的目录中的过程，包括：

所述操作数据层采集日志的原始数据，并将所述日志的原始数据按照HDFS格式转换为流式数据流后，保存至所述HDFS中与所述操作数据层对应的目录中。

优选地，所述接口数据层将保存在所述HDFS中与所述基础数据层对应的目录的数据结构化后，保存所述HDFS中与所述接口数据层对应的目录中的过程，包括：

所述接口数据层将保存在所述HDFS中与所述基础数据层对应的目录的数据按照avro格式进行格式转换，得到转换后的目标数据；

将所述目标数据进行反序列化后保存至所述HDFS中与所述接口数据层对应的目录中。

优选地，所述接口数据层将所述目标数据进行反序列化后，保存至所述HDFS中与所述接口数据层对应的目录中的过程，包括：