[发明专利]一种基于数据仓库模型的数据处理方法及装置

说明书

本申请提供一种基于数据仓库模型的数据处理方法及装置，该基于数据仓库模型的数据处理方法包括：获取待处理逻辑表；获取数据仓库模型，其中，数据仓库模型分为ODS原始数据层、DWD明细数据层、DWS汇总数据层以及ADS应用数据层；将待处理逻辑表输入数据仓库模型，得到输出数据。本申请在逻辑表提交后即生成对应智能黑盒调度任务，自动化生产数据，大大提升数据处理的效率。

技术领域

本申请主要涉及数据处理技术领域，具体涉及一种基于数据仓库模型的数据处理方法及装置。

背景技术

在数据开发中规范建模用于构建逻辑化的数据模型，模型设计建立时的分层可以统一管理收集，但是在传统手动写SQL代码的开发模式中往往会出现统计指标计算口径不一致的情况，而且开发效率低下。比如在我们日常的数据开发中开发人员对模型或者业务线不了解，导致会重复开发相同的指标SQL任务，从而会有计算口径不一致的问题发生，不同报表有不同的结果。传统的SQL开发还需要开发人员有不错的SQL开发功底，在开发中才会更好地避免出现数据异常以及最大化的应用数据库性能，在SQL的开发中也需要不断地调试。

也即，现有技术数据处理的方式效率较低。

发明内容

本申请提供一种基于数据仓库模型的数据处理方法及装置，旨在解决现有技术中数据处理的方式效率较低的问题。

第一方面，本申请提供一种基于数据仓库模型的数据处理方法，所述基于数据仓库模型的数据处理方法包括：

获取待处理逻辑表；

获取数据仓库模型，其中，所述数据仓库模型分为ODS原始数据层、DWD明细数据层、DWS汇总数据层以及ADS应用数据层；

将所述待处理逻辑表输入数据仓库模型，得到输出数据。

可选地，所述将所述待处理逻辑表输入数据仓库模型，得到输出数据，包括：

将所述待处理逻辑表输入ODS原始数据层；

利用ODS原始数据层从数据源获取业务相关数据，所述业务相关数据包括业务系统数据、业务运行的日志数据、机器运转产生的日志数据、网络爬虫或者其他方式获取的外部数据；

将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据。

可选地，所述将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据，包括：

将业务相关数据输入DWD明细数据层；

利用DWD明细数据层对所述业务相关数据进行清洗，得到清洗后的业务相关数据，其中，在DWD明细数据层根据配置好的表结构配置对应的SQL任务，自动创建表与生产表数据的定时调度任务；

将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据。

可选地，所述将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据，包括：

将清洗后的业务相关数据输入DWS汇总数据层；

利用DWS汇总数据层根据配置好的衍生指标和复合指标生成对应的数据表与调度任务承载数据；

利用ADS应用数据层根据配置好的多个指标作为维度以及指标字段，生成对应的数据表与调度任务承载应用层的数据，得到输出数据。

可选地，所述利用ODS原始数据层从数据源获取业务相关数据，包括：

在ODS原始数据层的数据同步任务中配置spark或datax同步任务，自动创建对应的目标表与定时同步任务；