[发明专利]一种智能综合大数据融合处理平台

说明书

本发明公开了一种智能综合大数据融合处理平台，包括数据管理体系和数据价值体系；所述数据管理体系包括：元数据管理模块，用于对元数据进行统一管理和存储；数据资源管理模块，用于对全域数据进行综合管理；数据服务管理模块，用于实现对外数据服务目录的展示及申请管理；数据质量审计模块，用于对系统数据进行数据质量检测；所述数据价值体系包括：数据接入模块，用于进行多种数据接入；数据共享模块，用于进行数据共享；数据处理模块，用于进行数据采集和处理。本发明通过构建大数据管理与治理相融合的一体化的智能大数据融合平台，满足智能化数据管理、智能化数据审计、可视化数据治理、高性能数据接入、可扩展数据交换共享的需求。

技术领域

本发明涉及大数据处理领域，尤其涉及一种智能综合大数据融合处理平台。

背景技术

随着云时代的到来，大数据吸引了越来越多人的关注，分析师团队认为，大数据通常用来形容公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多的时间和金钱。大数据分析常常和云计算联系到一起。大数据需要特殊的技术，以有效的处理大量的容忍经过时间内的数据。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的加工能力，通过加工实现数据的增值。

在申请号为CN201810366975.4 的专利申请文件中有提到：大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。

现有的大数据处理平台一般只针对单一来源的数据，且功能较为单一，数据处理过程也比较麻烦，且数据处理的维护成本较高，不利于大数据处理平台大规模使用和维护。

发明内容

基于此，本发明的目的是为了解决现有技术中大数据处理平台数据来源单一、数据处理过程麻烦且数据处理的维护成本较高的问题。

为实现上述目的，本发明提出一种智能综合大数据融合处理平台，所述智能综合大数据融合处理平台包括数据管理体系和数据价值体系；

所述数据管理体系包括：

元数据管理模块，用于对元数据进行统一管理和存储，并通过元数据视角形成数据资产；

数据资源管理模块，用于对全域数据进行综合管理，对接基础信息资源库及主题库，实现数据资产的统一管理；

数据服务管理模块，用于实现对外数据服务目录的展示及申请管理，同时为用户提供数据交换共享情况；

数据质量审计模块，用于对系统数据进行数据质量检测，并持续监控数据质量波动状况，进行数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况；

所述数据价值体系包括：

数据接入模块，用于进行多种数据接入，包括通过外挂程序进行数据接入；

数据共享模块，用于通过文件、接口和外挂程序的方式进行数据共享；

数据处理模块，用于通过Web-ETL工具和数据抓取工具进行数据采集和处理。

所述元数据管理模块包括元数据的查询、自动采集、导入、导出、建表、授权与版本对比；所述元数据包括业务元数据、技术元数据和管理元数据。

所述数据资源管理模块为数据分析、使用和运营提供展示和监控界面。

所述数据服务管理模块包括数据服务查询子模块、数据服务发布子模块、数据服务审核子模块和数据服务监控子模块。

所述数据质量审计模块包括数据质量规则指定子模块，用于根据数据标准，智能生成数据质量规则。

所述数据接入模块还包括全量/增量接口。

所述数据共享模块包括：