[发明专利]业务数据的处理方法、装置和服务器

说明书

本说明书提供了业务数据的处理方法、装置和服务器。基于该方法，在接收到新的目标业务数据后，可以先确定并根据基于文本字段的第一匹配度，确定新接收的目标业务数据是否属于当前已有的预设业务数据；在根据第一匹配度无法确定目标业务数据是否属于预设业务数据的情况下，再基于预设的取数规则，确定并根据基于数据值的第二匹配度，进一步确定该目标业务数据是否属于预设业务数据，从而可以基于文本字段和数据值两种不同的维度，高效、精准地确定出新接收的目标业务数据是否属于已有的预设业务数据，能较好地适用于结构复杂的分布式数据处理系统，准确、有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理。

技术领域

本说明书属于大数据处理技术领域，尤其涉及业务数据的处理方法、装置和服务器。

背景技术

在大数据处理场景中，分布式数据处理系统每时每刻都会接收到不同数据源(例如，不同的来源机构)传入的海量业务数据。

但是，由于不同数据源所使用的业务数据命名规则、业务数据处理方式、业务数据的统计口径等存在差异，导致分布式数据处理系统往往无法准确地辨识出实质相同的业务数据，难以对所接收到的业务数据进行较为有效的数据统一和数据管理，进而容易出现对系统中实质相同的业务数据进行重复处理，导致系统中存储的业务数据存在冗余、影响系统性能等技术问题。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书提供了一种业务数据的处理方法、装置和服务器，能较好地适用于结构复杂的分布式数据处理系统，能够准确、有效地对该系统所接入的大量不同来源的业务数据进行数据统一和数据管理，避免对本质相同的业务数据进行重复处理。

本说明书实施例提供了一种业务数据的处理方法，包括：

获取目标业务数据，以及目标业务数据的要素信息；其中，所述目标业务数据的要素信息至少包括目标业务数据的名称字段和目标业务数据的业务定义文本；

根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度；其中，所述预设的业务元数据表包含有业务数据库中保存的多个预设业务数据的要素信息和关联信息；

根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据；并在根据第一匹配度确定所述目标业务数据属于待定数据的情况下，确定出目标业务数据的相似业务数据；

根据预设的取数规则，通过与分布式存储系统进行相应交互，确定出目标业务数据与相似业务数据基于数据值的第二匹配度；

根据所述第二匹配度，确定所述目标业务数据是否属于预设业务数据。

在一些实施例中，所述预设业务数据的关联信息包括以下至少之一：预设业务数据的来源机构的机构标识、共享预设业务数据的应用的应用标识、预设业务数据的取数应用的应用标识、存储预设业务数据的数据值的子系统的系统标识、预设业务数据的属性类型标识。

在一些实施例中，根据所述目标业务数据的要素信息、预设的业务元数据表，计算目标业务数据与预设业务数据基于文本字段的第一匹配度，包括：

统计并根据目标业务数据的名称字段与预设业务数据的名称字段中相同字符的数量，确定第一匹配参数；

确定目标业务数据的业务定义文本与预设业务数据的业务定义文本的相似度，作为第二匹配参数；

根据所述第一匹配参数和第二匹配参数，确定目标业务数据与预设业务数据基于文本字段的第一匹配度。

在一些实施例中，根据所述第一匹配度，确定所述目标业务数据是否属于预设业务数据，包括：