[发明专利]数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取各源系统中的增量源数据；

将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；

根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；

基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述获取各源系统中的增量源数据，包括：

确定技术元数据中配置的增量数据同步方案；

根据所述增量数据同步方案，从各所述源系统中获取所述增量源数据。

3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，包括：

确定所述增量源数据的属性信息；

将所述增量源数据的属性信息，与所述源系统快照数据进行匹配，确定所述增量源数据的数据状态，所述数据状态包括是否更新、主键是否变化、是否为物理删除中的任意一种。

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据，包括：

若所述增量源数据的数据状态为主键变化，根据所述源系统快照数据，确定所述增量源数据对应的更新前数据；

恢复所述更新前数据，并将所述更新前数据的数据状态设置为删除，所述修正源数据包括所述增量源数据与所述更新前数据。

5.根据权利要求1所述的数据处理方法，其特征在于，在所述获得规范化后的修正源数据之后，在所述发布规范化后的所述修正源数据之前，包括：

对所述规范化后的所述修正源数据进行数据预处理，得到预处理后的规范化后的所述修正源数据，所述数据预处理包括数据去重处理和数据清洗处理中的至少一种。

6.根据权利要求1所述的数据处理方法，其特征在于，所述增量源数据存储在数据缓存区，所述源系统快照数据存储在数据快照区；

在所述获得修正源数据之后，所述方法还包括：

将所述修正源数据更新至所述数据快照区，并清空所述数据缓存区。

7.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取各源系统中的增量源数据；

识别模块，用于将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；

修正模块，用于根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；

发布模块，用于基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的数据处理方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的数据处理方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的数据处理方法的步骤。