[发明专利]面向大数据的数据管理系统

摘要

一种高效数据管理系统,包括采集中心、数据中心、面向用户的用户中心；所述数据中心的HADOOP集群子系统包括对采集中心经SQL服务器转送的大数据多源异构数据进行整合形成结构化数据记录的数据整合模块、数据清洗模块、将清洗后的数据进行分类的分类模块、数据存储模块。本发明可以快速、高效、可靠地进行数据采集、数据处理，能给多行业用户子系统提供应用数据。由于本发明的数据中心完成大数据清洗，使得处理和分析海量数据成为可能，并对海量数据进行了初步分析，用户后续进一步的应用和分析提供了数据准备。

主权项

一种面向大数据的数据管理系统，其特征在于：包括采集中心(A)、数据中心(B)、面向用户的用户中心(C)；所述的采集中心(A)：包括各分别采集其对应的数据的采集集群、采集子系统、数据质量管理子系统以及采集备份子系统，由采集子系统对各采集集群分别进行常规采集，再由数据质量管理子系统对数据进行初步质量管理后，输出给数据中心，同时经数据质量管理子系统初步质量管理后的采集数据至采集备份子系统备份；数据中心(B):包括SQL服务器、由SQL服务器接收大数据并对其进行处理的HADOOP集群子系统；SQL服务器接收采集中心(A)发送的采集数据后对其进行识别分类，若为小数据，则由SQL服务器自行完成数据分类、数据加工整合以及数据存储，若为大数据，则传输至HADOOP集群子系统进行数据处理并存储，所述由SQL服务器或/和HADOOP集群子系统处理后的数据待用户中心调用，用户中心(C)，面向用户，由各行业的本地用户子系统组成，所述的数据中心(B)将被调用数据经ETL数据处理后传输至用户中心该本地用户子系统进行应用；所述数据中心(B)的HADOOP集群子系统包括对采集中心(A)经SQL服务器转送的大数据多源异构数据进行整合形成结构化数据记录的数据整合模块、数据清洗模块、将清洗后的数据进行分类的分类模块、数据存储模块，所述的数据清洗模块：首先对数据进行去重处理，再对去重处理后的数据进行去异常数据分析、最后进行数据加工处理；所述的去重处理是对结构化数据记录进行相同去除，即抽取结构化数据记录中的字段名作为去重判断关键字；所述的去异常数据分析是对结构化数据记录中超过设定阀值的记录进行去除处理，即不同数据类型设定有效范围，有效范围的边缘为设定阀值，去除掉范围外的值，得到干净数据；所述的数据加工处理从结构化数据记录中获得增量变化数据，并将所述增量变化数据根据其数据操作类型实时更新数据库，所述的数据操作类型包括插入数据、更新数据、删除数据；数据存储模块：利用HADOOP提供的分布式存储工具HBASE对清洗后的数据记录进行存储。