[发明专利]数据处理方法及装置、电子设备、存储介质

说明书

本公开提供了一种数据处理方法及装置、电子设备、存储介质，涉及计算机技术领域。该数据处理方法包括：获取数据生产方的实时生产数据以及通用数据表；将生产数据与通用数据表进行比对处理，确定生产数据中与通用数据表中的原始字段不相同的目标字段；将目标字段对应的目标字段值作为第一数据，并将原始字段对应的原始字段值作为第二数据；将第一数据和第二数据进行组装得到目标数据，并将目标数据发送给数据消费方。本公开实施例的技术方案可以通过通用数据表筛选得到生产数据对应的目标字段，并将目标字段的字段值和原始字段对应的原始字段值进行组装生成目标数据，提高了目标数据的生成速率以及对生产数据的管理效率。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

背景技术

在相关的数据仓库的数据管理方法中，通过日志提取工具从实时的生产数据库中提取生产数据，并根据业务的加工逻辑和业务指标等实时加工生产数据得到数据宽表，对数据宽表中的字段进行整合以生成消费数据。

然而，在相关的数据仓库的数据管理方法中不同的生产数据库对应的数据宽表是彼此独立的，使得不同的业务系统不能互相调用数据宽表，进而仍需其它业务系统再次通过日志提取工具从对应的生产数据库中提取生产数据，并对生产数据进行加工处理以生成相同的数据宽表；在此过程中需要对生产数据库中的数据进行多次提取和加工，使得生产数据库中的数据以及数据宽表中的数据的管理效率较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服生产数据库中的数据以及数据宽表中的数据的管理效率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种数据处理方法，包括：获取生产数据方的实时生产数据以及预构建的通用数据表；所述通用数据表包括原始字段和所述原始字段对应的原始字段值；将所述生产数据与所述通用数据表进行比对处理，确定所述生产数据中与所述通用数据表中的所述原始字段不相同的目标字段；将所述目标字段对应的目标字段值作为第一数据，并将所述原始字段对应的原始字段值作为第二数据；以及将所述第一数据和第二数据进行组装得到目标数据，并将所述目标数据发送给数据消费方以满足数据消费方的数据需求。

在本公开的一些示例实施例中，基于前述方案，获取预构建的通用数据表，包括：获取所述数据生产方的历史日志文件，并基于所述历史日志文件确定历史生产数据；将所述历史生产数据进行汇总处理得到汇总数据，并基于所述汇总数据构建所述通用数据表。

在本公开的一些示例实施例中，基于前述方案，所述基于所述汇总数据构建所述通用数据表，还包括：获取预设的存储时长阈值；若检测到所述通用数据表在内存中的生命周期小于或等于所述存储时长阈值，则将所述通用数据表存储到所述内存中；若检测到所述通用数据表在内存中的生命周期大于所述存储时长阈值，则将所述通用数据表存储到缓存数据库中。

在本公开的一些示例实施例中，基于前述方案，所述方案还包括：将所述目标字段和目标字段值存储到所述通用数据表中，以根据所述目标字段和目标字段值更新所述通用数据表，得到更新通用数据表。

在本公开的一些示例实施例中，基于前述方案，所述方案还包括：将所述通用数据表对应的原始字段和所述更新通用数据表对应的目标字段存储到大数据平台以实现对所述历史生产数据和实时生产数据的实时追踪。