[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取各源系统中的增量源数据；将增量源数据与源系统快照数据进行匹配，识别增量源数据的数据状态，源系统快照数据包括有获取增量源数据之前，从各源系统中获取的源数据的属性信息；根据增量源数据的数据状态，修正增量源数据，获得修正源数据；基于配置的业务元数据，将修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的修正源数据，业务元数据包括修正源数据的元数据及其属性元数据。采用本申请实施例的方法，能够确保数据的规范性和有效性，提高数据处理的效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术

为了满足核电各类业务的需要，建立了大量的业务源系统，产生了各种各样的业务数据。随着核电各类业务的深入开展，往往需要应用某一对象的跨业务主题的数据，而这些数据可能会来自不同的源系统。

目前，为了获取分散在各源系统之间的数据，一般是在源系统之间进行数据层面的同步，建立很多数据同步的接口，以使各源系统之间的数据能够流转，然而，这种方式的接口数量与源系统数量呈指数关系，数据开发和维护的工作量很大，而且无法确保数据的规范性和有效性，导致数据处理效率不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

一种数据处理方法，所述方法包括：

获取各源系统中的增量源数据；

将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，所述源系统快照数据包括有获取所述增量源数据之前，从各所述源系统中获取的源数据的属性信息；

根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据；

基于配置的业务元数据，将所述修正源数据进行规范化处理，获得规范化后的修正源数据，并发布规范化后的所述修正源数据，所述业务元数据包括所述修正源数据的元数据及其属性元数据。

在其中一个实施例中，所述获取各源系统中的增量源数据，包括：

确定技术元数据中配置的增量数据同步方案；

根据所述增量数据同步方案，从各所述源系统中获取所述增量源数据。

在其中一个实施例中，所述将所述增量源数据与源系统快照数据进行匹配，识别所述增量源数据的数据状态，包括：

确定所述增量源数据的属性信息；

将所述增量源数据的属性信息，与所述源系统快照数据进行匹配，确定所述增量源数据的数据状态，所述数据状态包括是否更新、主键是否变化、是否为物理删除中的任意一种。

在其中一个实施例中，所述根据所述增量源数据的数据状态，修正所述增量源数据，获得修正源数据，包括：

若所述增量源数据的数据状态为主键变化，根据所述源系统快照数据，确定所述增量源数据对应的更新前数据；

恢复所述更新前数据，并将所述更新前数据的数据状态设置为删除，所述修正源数据包括所述增量源数据与所述更新前数据。

在其中一个实施例中，在所述获得规范化后的修正源数据之后，在所述发布规范化后的所述修正源数据之前，包括：

对所述规范化后的所述修正源数据进行数据预处理，得到预处理后的规范化后的所述修正源数据，所述数据预处理包括数据去重处理和数据清洗处理中的至少一种。