[发明专利]多源数据融合的数据处理方法、装置、设备和存储介质

说明书

本发明公开了一种多源数据融合的数据处理方法，包括：分别确定各业务系统对应的主数据集；针对每一主数据集，对该主数据集中各数据项的候选数据明细进行一致性比对，以从各数据项的候选数据明细中确定各数据项在该主数据集中的同源相同数据和同源差异数据；分别确定上述同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；根据上述可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和同源相同数据，确定该主数据集对应的数据实例。可以实现对各个业务系统的业务数据所对应的主数据集进行自动化的数据研判。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种多源数据融合的数据处理方法、装置、设备和存储介质。

背景技术

目前，在对多个业务系统的接入数据存入数据库的过程中，一个关键问题是对各业务系统的接入系统中提取的数据字段构成的主数据集进行数据融合，从多个业务系统的接入数据中提取主数据集的各数据项的明细数据时，由于各业务系统具有独立性，因此需要对各业务系统的接入数据对应的主数据集进行数据分析研判，以对主数据集中的数据进行校正和标准化处理，以便后续工作人员对各业务系统对应的主数据集进行数据分析，通常由工作人员对主数据集进行数据分析研判和校正，导致多源数据融合效率低下。因此，如何实现多源数据融合的自动化处理，降低多源数据融合过程中的人工成本，同时保证多源数据融合过程中对主数据集研判的准确性，是需要解决的问题。

发明内容

本发明提供了一种多源数据融合的数据处理方法、装置、设备和存储介质，可以实现多源数据融合的自动化处理，降低多源数据融合过程中的人工成本，同时保证多源数据融合过程中对主数据集研判的准确性。

根据本发明的一方面，提供了一种多源数据融合的数据处理方法，包括：

分别确定各业务系统对应的主数据集；

针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从所述至少两个数据项的候选数据明细中确定所述至少两个数据项在该主数据集中的同源相同数据和同源差异数据；

分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据所述可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；

根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和所述至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

根据本发明的另一方面，提供了一种多源数据融合的数据处理装置，该装置包括：

主数据集确定模块，用于分别确定各业务系统对应的主数据集；

同源差异数据确定模块，用于针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从所述至少两个数据项的候选数据明细中确定所述至少两个数据项在该主数据集中的同源相同数据和同源差异数据；

可信度评分确定模块，用于分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据所述可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；

数据实例确定模块，用于根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和所述至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，