[发明专利]数据处理方法及装置、电子设备、存储介质

说明书

本公开是关于一种数据处理方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：获取数据获取请求中的元数据；将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。本公开可以快速精准地获取与数据获取请求对应的元数据的值，实现快速智能取数。

技术领域

本公开涉及大数据技术领域，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

背景技术

随着大数据的发展，数据量越来越多，因此需要快速准确地从数据源中获取需要的数据，以根据得到的数据进行业务处理。

相关技术中，可通过统一接口以及正则表达式对不同的数据源进行取数。当一个指标在多个数据表中存在时，这种方式不能实现快速取数，效率较低且只通过统一的接口得到的取数结果并不准确，无法满足大规模数据中快速准确地得到需要的数据的需求。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的不能快速精准取数的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据处理方法，包括：获取数据获取请求中的元数据；将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表；其中，所述候选数据表的至少一个元数据与所述数据获取请求中的至少一个元数据匹配；对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表，并从所述目标数据表中获取匹配的元数据的值；根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值。

在本公开的一种示例性实施例中，根据所述目标数据表中的匹配的元数据的值，确定所述数据获取请求中的元数据的值包括：获取所有所述目标数据表；根据所述目标数据表的匹配的元数据之间的关联关系，确定述数据获取请求中的元数据的值。

在本公开的一种示例性实施例中，所述数据获取请求中的元数据包括数据范围、指标、维度以及筛选条件。

在本公开的一种示例性实施例中，所述预设数据表的元数据包括数据范围、指标、维度、数据生产时间、数据质量以及引擎类型中的一个或多个。

在本公开的一种示例性实施例中，将所述数据获取请求中的每一元数据分别与每一预设数据表的元数据进行匹配，以得到与所述数据获取请求相匹配的候选数据表包括：依次按照指标、维度、数据范围、数据生产时间以及引擎类型的排列顺序，对所述数据获取请求中的元数据与各所述预设数据表的元数据进行匹配，以将匹配成功的预设数据表作为所述候选数据表。

在本公开的一种示例性实施例中，对具有相同的匹配的元数据的候选数据表进行筛选以确定预定数量的目标数据表包括：根据所述预设数据表的元数据中的维度由小到大的顺序，从所述多个候选数据表中选择目标数据表；根据引擎的速度由快到慢的顺序，从所述多个候选数据表中选择目标数据表；根据数据质量由高到低的顺序，从所述多个候选数据表中选择目标数据表；根据数据生产时间由小到大的顺序，从所述多个候选数据表中选择目标数据表；根据手动排序选择目标数据表。