[发明专利]一种基于数据治理及血缘关系设计的数据仓库系统

说明书

本发明公开了一种基于数据治理及血缘关系设计的数据仓库系统，包括数仓管理模块、血缘关系管理模块、元数据管理模块、数据质量管理模块和作业调度管理平台。其中，数仓管理模块负责将企业数据收集、按照主题域划分、精准标签画像及数据服务；血缘关系管理模块围绕着数仓模块，自下而上，即可查询，又可全链路可视化展示数仓的血缘关系；数据质量管理模块协同作业调度管理平台，定时巡检数据和业务一致性；元数据管理模块，定时反馈企业库表的生命周期及版本报告。

技术领域

本发明涉及计算机互联网数据仓库设计技术，尤其涉及一种基于数据治理及血缘关系设计的数据仓库系统。

背景技术

数据治理是校验生产业务系统的数据规则以及业务系统和数仓系统的数据一致性；血缘关系是自下而上，全链路展示企业数据仓库系统的数据血缘管理，便于快速对数据进行影响分析。

传统标准化的数据仓库，仅仅是对企业的数据资产进行了沉淀，没有对数据进行系统范畴方面的管理，出现问题后，解决时效差，而且修改的不全面，一个问题可能周边影响的业务比较多。

随着企业业务的发展日新月异，数据资产的积累尤为重要，数据的沉淀、数据治理及数据血缘三者缺一不可。

发明内容

本发明要解决的技术问题是建立一套成熟的企业数据仓库系统，成熟的数据资产体系，可以快速有效的对外提供精准的数据服务。为了解决上述技术问题，本发明提供了一种基于数据治理及血缘关系设计的数据仓库系统，包括数仓管理模块、血缘关系管理模块、元数据管理模块、数据质量管理模块和作业调度管理平台；

其中，在企业数据大量存在的前提下，所述数仓管理模块通过ETL(ETL：即Extract-Transform-Load，将源数据通过抽取(Extract)、转换(Transform)、加载(Load)的方式至目标的过程)工具采集业务系统(业务系统：即企业数据的源系统)数据、根据传统BI分层设计(业务系统数据沉淀层、主题域分层和标签画像层)、借助报表工具(罗盘、敏捷BI)等，为企业提供数据服务和决策支持。

所述血缘关系管理模块将企业数据资产到数仓管理模块的血缘链路关系可视化，并对数仓管理模块的血缘关系进行管理；

所述元数据管理模块定时收集业务系统和数仓管理模块的元数据信息，业务系统是汇通达把自己的产品推向市场并取得最大化收益的一个企业分系统。以模块划分，业务系统包括营销规划、销售平台、销售进程管理、客户服务管理、客户关系管理、风险防范。数仓管理模块本身并不生产任何数据，数据来源于业务系统，并且开放给外部应用，可以分为三层：业务系统、数据管理模块、数据应用。

元数据管理模块通过自动或者手动两种采集方式定时收集业务系统和数仓管理模块的元数据信息，统一存储到MetaCube(MetaCube管理平台是一款基于WEB方式的元数据管理工具)知识库并集中管理，为上层元数据应用提供数据服务，便于用户浏览及分析元数据；帮助用户了解和管理信息和加工处理过程的来源，也有助于用户理解信息与加工过程之间的关系以及它们如何被使用；

所述数据质量管理模块协同作业调度管理平台，通过配置作业、作业流的方式，按照既定的数据质量管理规则，定时核对业务系统与数仓管理模块的数据，业务数据包括了交易平台、产品平台、帐户平台、用户管理、风控平台、运营、线下管理等场景数据，每个场景的数据都存在着众多复杂的业务逻辑。确保数据的准确性。

所述数仓管理模块包括业务系统数据沉淀层、主题域分层和标签画像层；

所述业务系统数据沉淀层借助ETL工具，采用全量数据采集、增量数据采集及特殊业务场景(外部文件、手工填报数据等)定制化数据采集方式采集数据；