[发明专利]一种数据处理方法、装置、存储介质、电子设备及产品

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取多个数据项的属性信息；

对于每一数据项，基于所述数据项的属性信息分别确定所述数据项的加载类型，其中，所述加载类型包括全量加载和增量加载；

基于所述加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述数据项的属性信息包括数据类型；

所述基于所述数据项的属性信息分别确定所述数据项的加载类型，包括：

获取数据类型与加载类型的对应关系；

基于所述数据项的数据类型，在所述数据类型与所述加载类型的对应关系中进行匹配，得到所述数据项对应的加载类型。

3.根据权利要求2所述的方法，其特征在于，所述数据类型与加载类型的对应关系的确定方式，包括：

对任一所述数据类型，基于所述数据类型的历史数据确定所述数据类型对应的数据量和历史变动频次；

基于所述数据量和所述历史变动频次确定所述数据类型对应的加载类型。

4.根据权利要求2所述的方法，其特征在于，所述数据类型与加载类型的对应关系基于预设时间间隔进行周期性更新。

5.根据权利要求1所述的方法，其特征在于，所述数据项的属性信息包括数据量和历史变动频次；

将所述数据量小于第一阈值，且所述历史变动频次小于第二阈值的数据项的加载类型确定为全量加载；

将所述数据量大于所述第一阈值，或者，所述历史变动频次大于所述第二阈值的数据项的加载类型确定为增量加载。

6.根据权利要求3或5所述的方法，其特征在于，所述历史变动频次基于所述数据项在预设历史时间段内错误次数、调整次数、补录次数确定。

7.根据权利要求1所述的方法，其特征在于，所述基于所述加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果，包括：

通过流批一体技术，基于所述加载类型对对应的数据项内容分别进行加载，并对加载的数据项内容触发预设的数据处理，得到数据处理结果。

8.根据权利要求7所述的方法，其特征在于，所述全量加载方式为流批一体的BatchShuffle方式，所述增量加载方式为流批一体的Update方式与Insert方式的组合。

9.根据权利要求1所述的方法，其特征在于，所述基于所述加载类型对对应的数据项内容分别进行加载，包括：

确定各所述数据项的加载触发条件，所述加载触发条件包括依赖数据项的加载完成或分发完成；

在满足所述数据项的加载触发条件的情况下，基于所述加载类型对对应的数据项内容分别进行加载。

10.根据权利要求1所述的方法，其特征在于，对于增量加载的数据项，在加载过程中，确定所述数据项的主键信息，在所述主键信息已存在的情况下，所述数据项内容的增量加载方式为数据更新，在所述主键信息不存在的情况下，所述数据项内容的增量加载方式为数据插入。

11.根据权利要求1所述的方法，其特征在于，所述预设的数据处理包括损益处理过程中各数据项对应的处理方式，所述数据处理结果包括损益数据。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

以业务类型为粒度，确定已处理数据的数据量和完成时间，生成数据处理报告。