[发明专利]一种数据湖数据处理方法和系统

权利要求书

1.一种数据湖数据处理方法，其特征在于，包括：

针对本次确认提交的数据，解析出业务快照信息并按业务快照的时间粒度进行数据切分得到每个业务快照对应的数据版本的增量数据；

根据业务快照信息和对应的数据版本，更新预先创建的G-SCD表中的业务快照与数据版本的映射关系，并将每个业务快照对应的数据版本的增量数据同步到数据湖进行存储；所述G-SCD是指基于固定粒度的缓慢变化维。

2.如权利要求1所述的方法，其特征在于，所述针对本次确认提交的数据，解析出业务快照信息并按业务快照的时间粒度进行数据切分得到每个业务快照对应的数据版本的增量数据，包括：

流式计算引擎接收到分布式订阅系统的数据确认提交信息后，从数据提交信息中解析出提交时间信息，并根据预先设置的业务快照的数据格式进行处理后，得到业务快照信息；以及

流式计算引擎对本次确认提交的数据按业务快照的时间粒度进行数据切分，切分出不同业务快照的数据，得到每个业务快照对应的数据版本以及该数据版本的增量数据。

3.如权利要求1所述的方法，其特征在于，所述根据业务快照信息和对应的数据版本，更新预先创建的G-SCD表中的业务快照与数据版本的映射关系，包括：

流式计算引擎根据解析出的业务快照信息，按照指定的业务快照格式更新预先创建的G-SCD表中的指定位置的业务快照，并获取业务快照对应的最新的数据版本，将业务快照对应的最新的数据版本更新到G-SCD表中。

4.如权利要求1所述的方法，其特征在于，还包括：

按照预设的回溯周期或基于数据回溯指令，启动数据回溯修复流程：将数据回滚到指定的历史时刻，检查数据正确性，修复错误的数据。

5.如权利要求1所述的方法，其特征在于，还包括：

按照预设的存储周期、或基于存储指令，启动存储点操作：为需要永久保留的数据版本添加存储点标记，其中，添加有存储点标记的数据版本在清理历史数据时会被永久保留。

6.如权利要求1-5任一所述的方法，其特征在于，更新预先创建的G-SCD表中的业务快照与数据版本的映射关系之前，还包括：

创建G-SCD表；

所述G-SCD表中包括用于标识G-SCD表的表标识、业务快照的粒度、业务快照字段、业务快照字段的数据格式、业务快照对应的数据版本。

7.一种数据湖数据处理方法，其特征在于，包括：

接收到数据查询请求后，从所述数据查询请求中解析出包括的业务快照信息；

根据所述业务快照信息，查询G-SCD表中业务快照与数据版本的映射关系，确定所查询的数据版本；所述G-SCD是指基于固定粒度的缓慢变化维；

获取所查询的数据版本的数据提供给查询用户。

8.如权利要求7所述的方法，其特征在于，根据所述业务快照信息，查询G-SCD表中业务快照与数据版本的映射关系，确定所查询的数据版本，包括：

根据所述业务快照信息，查询G-SCD表中的业务快照字段，确定G-SCD表中数据格式和内容相匹配的业务快照，根据业务快照与数据版本的对应关系确定所查询的数据版本。

9.如权利要求7所述的方法，其特征在于，获取所查询的数据版本的数据提供给查询用户，包括：

根据确定出的所查询的数据版本，确定该数据版本涉及到的在先数据版本中的老数据部分和/或该数据版本的增量数据部分，分别获取所述老数据部分和增量数据部分得到所查询的数据版本的数据提供给查询用户。

10.如权利要求7-9任一所述的方法，其特征在于，还包括：

得到所查询的数据版本的数据提供给查询用户之前，在数据中添加业务快照信息。