[发明专利]一种互联网多种复杂业务线并存的数据治理系统

摘要

互联网多种复杂业务线并存的数据治理系统，包括：数据源模块、数据交换模块、数据整合处理模块、开发套件算法模块、过程数据收集模块、管理模块、调度监测模块、治理模块；所述数据源模块，通过AI的流程自动实时地监控数据源的数据变更；所述数据交换模块，当在数据源模块选择了一个数据源之后，首先将数据进行标准化处理，标准化之后的数据存储至大数据平台中。所述数据整合处理模块包含计算层和存储层两个子模块，所述开发套件算法模块，该模块包含整个数据收集、整合、处理、分析、预测、监测流程中用到的基础函数、高级统计分析方法、AI智能算法、ETL工具、Spark、Hive、MR、Flink一系列开发套件及算法；所述管理模块包含用户管理模块、项目管理模块、任务管理模块、元数据管理模块；从而能够自动化智能地、高效准确地完成数据同步、整合、计算、分析、使用，并提高数据安全、数据质量，形成健康完善的数据体系。