[发明专利]一种数据湖数据处理方法和系统

说明书

本发明公开了一种数据湖数据处理方法和系统。该方法包括：针对本次确认提交的数据，解析出业务快照信息并按业务快照的时间粒度进行数据切分得到每个业务快照对应的数据版本的增量数据；根据业务快照信息和对应的数据版本，更新G‑SCD表中的业务快照与数据版本的映射关系，并将每个业务快照对应的数据版本的增量数据同步到数据湖进行存储。接收到数据查询请求后，根据业务快照信息查询G‑SCD表中业务快照与数据版本的映射关系，获取所查询的数据版本的数据提供给查询用户。该方法在数据存储时不用存储每个版本的所有数据，避免大量的数据冗余，在查询时可以获取每个版本对应的数据，无需进行新旧数据的合并处理，提高查询效率和速度。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据湖数据处理方法和系统。

背景技术

在数据仓库场景下，通常使用星型模型或雪花模型来关联事实表和维度表，维度表中的维度会随时间更新，在数据仓库建设过程中，可以通过专门的缓慢变化维(SlowlyChanging Dimension，SCD)集成模块对维度表进行更新。SCD是指维度表中的维度字段值会随着时间调整，而在后续的分析中，历史数据仍然要使用旧的维度值，新的数据会使用当前维度值。

在传统数据仓库中，可以根据用户对维度的使用不同，选择不同的维度新值处理方式，相应的SCD被分为多种类型。例如下表1所列的类型：

表1

在传统数据仓库中，有些维度表的具体维度是低频变化的。某些场景仅需要保存最新的维度值，此时可以使用Type1，有些则需要保留全部的历史记录，此时可使用Type2。传统数据仓库体系下经典的SCD Type2解决方案有以下两种：

方案一：

流式构建T+1时刻的增量数据表，和离线表的T时刻分区数据做合并，生成离线表的T+1时刻的分区数据。

方案二：

保存离线的基础表，每个时刻T的增量数据独立保存为一个增量数据表，在查询T时刻的数据时合并基础表和T时刻的增量数据表。

发明内容

本申请发明人发现：若使用上述方案一，由于可能仅小部分的数据需要更新，会导致每个分区数据会和之前的分区数据有大量的冗余重复，造成存储资源的大量浪费。若使用上述方案二，在数据查询时需要进行基础表和增量数据表的合并，结构化查询语言(SQL)较难维护，且查询性能较差，数据合并会造成延时，查询时间长。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据湖数据处理方法和系统。

本发明实施例提供一种数据湖数据处理方法，包括：

针对本次确认提交的数据，解析出业务快照信息并按业务快照的时间粒度进行数据切分得到每个业务快照对应的数据版本的增量数据；

根据业务快照信息和对应的数据版本，更新预先创建的G-SCD表中的业务快照与数据版本的映射关系，并将每个业务快照对应的数据版本的增量数据同步到数据湖进行存储；所述G-SCD是指基于固定粒度的缓慢变化维。

在一些可选的实施例中，所述针对本次确认提交的数据，解析出业务快照信息并按业务快照的时间粒度进行数据切分得到每个业务快照对应的数据版本的增量数据，包括：

流式计算引擎接收到分布式订阅系统的数据确认提交信息后，从数据提交信息中解析出提交时间信息，并根据预先设置的业务快照的数据格式进行处理后，得到业务快照信息；以及

流式计算引擎对本次确认提交的数据按业务快照的时间粒度进行数据切分，切分出不同一个业务快照的数据，得到每个业务快照对应的数据版本以及该数据版本的增量数据的增量数据。