[发明专利]一种数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待处理的原始数据，所述原始数据中包含多个物料在多个维度下的基础数据，所述多个维度中的各个维度之间存在转化关系；

针对所述多个维度中的任一维度，获取所述维度下的原始数据，并建立所述原始数据与所述维度之间的映射关系；

根据所述原始数据的处理需求，从预设的通用数据处理流程中调用满足所述处理需求的目标数据处理流程，并通过所述目标数据处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据的处理需求，从预设的通用数据处理流程中调用满足所述处理需求的目标数据处理流程，并通过所述目标数据处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据的步骤，包括：

响应于所述处理需求为构建转化率相关的模型的训练样本，调用预设的样本转化处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据；

其中，所述样本转化处理流程的数据处理过程包括：

S1，根据每个所述维度下同一物料的基础数据，得到每个所述物料对应在所述多个维度之间的转化率；

S2，获取每个所述物料在指定时间段内的转化率数据，并将每个所述物料的转化率数据与所述物料的基础数据组合，得到每个所述物料经处理后的目标数据。

3.根据权利要求1所述的方法，其特征在于，所述针对所述多个维度中的任一维度，获取所述维度下的原始数据，并建立所述原始数据与所述维度之间的映射关系的步骤，包括：

针对所述多个维度中的任一维度，根据所述维度限定的数据结构，对所述维度下的原始数据进行数据清洗，并将清洗完成后的数据放入与所述维度存在映射关系的指定存储区域中。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述多个维度包括曝光维度和点击维度，或者点击维度和用户转化维度，或者曝光维度和消费维度，或者消费维度和用户转化维度，或者消费维度和点击维度；所述物料包括广告、帖子、网页中的至少一种。

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述通用数据处理流程基于编程模型MapReduce、集群计算平台Spark、数据仓库工具Hive、分布式系统基础架构Hadoop中的任意一种构建得到。

6.一种数据处理装置，其特征在于，包括：

数据获取模块，用于获取待处理的原始数据，所述原始数据中包含多个物料在多个维度下的基础数据，所述多个维度中的各个维度之间存在转化关系；

数据转存模块，用于针对所述多个维度中的任一维度，获取所述维度下的原始数据，并建立所述原始数据与所述维度之间的映射关系；

数据处理模块，用于根据所述原始数据的处理需求，从预设的通用数据处理流程中调用满足所述处理需求的目标数据处理流程，并通过所述目标数据处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据。

7.根据权利要求6所述的装置，其特征在于，所述数据处理模块，包括：

数据处理子模块，用于响应于所述处理需求为构建转化率相关的模型的训练样本，调用预设的样本转化处理流程针对每个所述维度下的原始数据进行数据处理，得到处理后的目标数据；

其中，所述样本转化处理流程的数据处理过程包括：

S1，根据每个所述维度下同一物料的基础数据，得到每个所述物料对应在所述多个维度之间的转化率；

S2，获取每个所述物料在指定时间段内的转化率数据，并将每个所述物料的转化率数据与所述物料的基础数据组合，得到每个所述物料经处理后的目标数据。

8.根据权利要求6所述的装置，其特征在于，所述数据转存模块，包括：

数据转存子模块，用于针对所述多个维度中的任一维度，根据所述维度限定的数据结构，对所述维度下的原始数据进行数据清洗，并将清洗完成后的数据放入与所述维度存在映射关系的指定存储区域中。