[发明专利]数据更新方法及装置

说明书

本发明提供一种数据更新方法及装置，其中方法包括：获取目标数据的变更数据；基于变更数据，在目标数据的更新信息字段中存储字段更新信息，并在目标数据的操作类型字段中存储数据变更类型信息；基于更新信息字段以及操作类型字段，确定待更新字段的更新方式；基于更新方式以及变更数据，对目标数据在数据库中对应存储的历史数据进行更新，并对更新后的历史数据进行列存储。本发明提供的数据更新方法及装置，通过对Hudi架构中目标数据的字段进行扩展，用于辅助目标数据中变更数据的更新过程，实现了字段更新的必要的信息的存储，使得能基于扩充字段中存储的更新信息，准确实现对Hudi架构中字段的更新，提升了数据更新的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据更新方法及装置。

背景技术

Hudi是一款开源的用于对基于Hadoop生态搭建的数据湖/数据仓库上的数据进行快速更新存储的架构。

现有的Hudi针对非全字段形式的数据更新时，由于Hudi使用的输入输出组件能力有限，无法明确的分辨出待更新数据中某个字段是NULL值还是不更新值，因此只能笼统的挑选最新的更新字段，并把不更新的字段都当做NULL值处理。导致Hudi在处理非全字段更新时，把不更新的字段舍弃，导致更新数据不准确。

发明内容

本发明提供一种数据更新方法及装置，用以解决现有技术Hudi在处理非全字段更新时，把不更新的字段舍弃，导致更新数据不准确的技术问题。

本发明提供一种数据更新方法，包括：

获取数据存储架构Hudi中目标数据的变更数据；

基于所述变更数据，在所述目标数据的更新信息字段中存储所述变更数据的字段更新信息，并在所述目标数据的操作类型字段中存储所述变更数据的数据变更类型信息；

基于所述更新信息字段，确定所述目标数据中的待更新字段，并基于所述操作类型字段，确定所述待更新字段的更新方式；

基于所述更新方式以及所述变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储。

根据本发明提供的一种数据更新方法，基于所述更新信息字段，确定所述目标数据中的待更新字段，包括：

基于所述更新信息字段，确定所述目标数据中的空字段以及所述目标数据中不更新的字段；

基于所述空字段以及所述不更新的字段，确定所述目标数据中的待更新字段。

根据本发明提供的一种数据更新方法，基于所述更新方式以及所述变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储，包括：

将所述更新方式以及所述变更数据进行行存储，得到行存储数据；

基于行存储数据中的更新方式以及行存储数据中的变更数据，对所述目标数据在数据库中对应存储的历史数据进行更新，得到更新后的历史数据，并对所述更新后的历史数据进行列存储。

根据本发明提供的一种数据更新方法，获取数据存储架构Hudi中目标数据的变更数据之后，还包括：

对所述Hudi中的系统预留字段进行扩展，得到所述目标数据的键值字段以及所述目标数据的交换数据字段；

在所述变更数据对应的变更字段为所述目标数据中的唯一键字段的情况下，基于所述变更数据，确定所述目标数据的唯一键变更值，并将所述唯一键变更值发送至目标地址的Http服务器，以使所述Http服务器存储所述唯一键变更值；

在所述目标数据的键值字段中存储所述目标数据的历史唯一键值，并在所述目标数据的交换数据字段中存储所述目标地址。