[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种数据处理方法、装置、电子设备及存储介质。所述方法，包括：获取待处理的原始数据，所述原始数据中包含多个物料在多个维度下的基础数据，所述多个维度中的各个维度之间存在转化关系；针对所述多个维度中的任一维度，获取所述维度下的原始数据，并建立所述原始数据与所述维度之间的映射关系；根据所述原始数据的处理需求，从预设的通用数据处理流程中调用满足所述处理需求的目标数据处理流程，并通过所述目标数据处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据。从而取得了通过流程统一保证中间过程数据的一致性，减少数据处理过程重复的工作量和因为逻辑不一致导致的查错成本的有益效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在训练转化率相关的模型过程中，需要对数据进行清洗转换的加工，进而得到用于训练模型的样本数据。针对不同的场景，目前采用的是单独编写该场景对应的数据清洗、转换等数据处理逻辑，或者是针对各个数据进行人工处理，使其满足相应场景下的需求。

但是，上述方式主要有以下两个问题：第一，数据处理逻辑很难得到复用，后续维护成本变高；第二，数据处理过程中相似特征的逻辑一致性很难得到保证，增加了排错成本。

发明内容

本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，以解决现有的数据处理逻辑很难得到复用，后续维护成本和排错成本较高的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理的原始数据，所述原始数据中包含多个物料在多个维度下的基础数据，所述多个维度中的各个维度之间存在转化关系；

针对所述多个维度中的任一维度，获取所述维度下的原始数据，并建立所述原始数据与所述维度之间的映射关系；

根据所述原始数据的处理需求，从预设的通用数据处理流程中调用满足所述处理需求的目标数据处理流程，并通过所述目标数据处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据。

可选地，所述根据所述原始数据的处理需求，从预设的通用数据处理流程中调用满足所述处理需求的目标数据处理流程，并通过所述目标数据处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据的步骤，包括：

响应于所述处理需求为构建转化率相关的模型的训练样本，调用预设的样本转化处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据；

其中，所述样本转化处理流程的数据处理过程包括：

S1，根据每个所述维度下同一物料的基础数据，得到每个所述物料对应在所述多个维度之间的转化率；

S2，获取每个所述物料在指定时间段内的转化率数据，并将每个所述物料的转化率数据与所述物料的基础数据组合，得到每个所述物料经处理后的目标数据。

可选地，所述针对所述多个维度中的任一维度，获取所述维度下的原始数据，并建立所述原始数据与所述维度之间的映射关系的步骤，包括：

针对所述多个维度中的任一维度，根据所述维度限定的数据结构，对所述维度下的原始数据进行数据清洗，并将清洗完成后的数据放入与所述维度存在映射关系的指定存储区域中。

可选地，所述多个维度包括曝光维度和点击维度，或者点击维度和用户转化维度，或者曝光维度和消费维度，或者消费维度和用户转化维度，或者消费维度和点击维度；所述物料包括广告、帖子、网页中的至少一种。