[发明专利]一种数据处理方法、装置、存储介质、电子设备及产品

说明书

本发明公开了一种数据处理方法、装置、存储介质、电子设备及产品。该方法通过获取多个数据项的属性信息，对于每一数据项，基于数据项的属性信息分别确定数据项的加载类型，其中，加载类型包括全量加载和增量加载，基于加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果。将数据项基于不同的加载类型进行分类，实现大幅缩减计算和重跑时间的效果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、存储介质、电子设备及产品。

背景技术

目前，随着技术的发展，需进行处理数据的数据量越来越大，针对大量的待处理数据，在从数据源加载数据并进行数据处理的过程，经常需要T+10甚至T+15才能出具处理报告，如果数据源有误、数据补录滞后、数据调整滞后等的情况，即使有误、补录、调整的数据只有一笔数据，需针对所有数据进行全批次重跑，处理的数据量大，处理的时效性极低。

发明内容

本发明提供了一种数据处理方法、装置、存储介质、电子设备及产品，以实现解决传统的批处理模式时效性低的问题。

根据本发明的一方面，提供了一种数据处理方法，包括：

获取多个数据项的属性信息；

对于每一数据项，基于所述数据项的属性信息分别确定所述数据项的加载类型，其中，所述加载类型包括全量加载和增量加载；

基于所述加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果。

可选的，所述数据项的属性信息包括数据类型；

所述基于所述数据项的属性信息分别确定所述数据项的加载类型，包括：获取数据类型与加载类型的对应关系；基于所述数据项的数据类型，在所述数据类型与所述加载类型的对应关系中进行匹配，得到所述数据项对应的加载类型。

可选的，所述数据类型与加载类型的对应关系的确定方式，包括：对任一所述数据类型，基于所述数据类型的历史数据确定所述数据类型对应的数据量和历史变动频次；基于所述数据量和所述历史变动频次确定所述数据类型对应的加载类型。

可选的，所述数据类型与加载类型的对应关系基于预设时间间隔进行周期性更新。

可选的，所述数据项的属性信息包括数据量和历史变动频次；

将所述数据量小于第一阈值，且所述历史变动频次小于第二阈值的数据项的加载类型确定为全量加载；将所述数据量大于所述第一阈值，或者，所述历史变动频次大于所述第二阈值的数据项的加载类型确定为增量加载。

可选的，所述历史变动频次基于所述数据项在预设历史时间段内错误次数、调整次数、补录次数确定。

可选的，所述基于所述加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果，包括：

通过流批一体技术，基于所述加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果。

可选的，所述全量加载方式为流批一体的Batch Shuffle方式，所述增量加载方式为流批一体的Update方式与Insert方式的组合。

可选的，所述基于所述加载类型对对应的数据项内容分别进行加载，包括：确定各所述数据项的加载触发条件，所述加载触发条件包括依赖数据项的加载完成或分发完成；在满足所述数据项的加载触发条件的情况下，基于所述加载类型对对应的数据项内容分别进行加载。