[发明专利]数据处理方法及设备

说明书

本申请实施例提供一种数据处理方法及设备，可以应用于数据访问领域，包括：接收用户输入的目标处理时刻，根据从Hive中读取到的存量拉链数据、全量原始业务数据和增量原始业务数据，确定目标处理时刻的变动业务数据；根据存量拉链数据与该变动业务数据，确定目标处理时刻的未变动拉链、变动拉链及新增业务数据；分别对该未变动拉链、变动拉链及新增业务数据进行预处理，得到目标拉链，并根据该目标拉链与上述变动拉链，确定出全量拉链数据；利用全量拉链数据覆盖上述存量拉链数据。本申请实施例可以根据任意处理时刻的全量原始业务数据和增量原始业务数据进行拉链数据的补充和修复，提高了海量数据下拉链表的维护效率。

技术领域

本申请实施例涉及数据访问技术领域，尤其涉及一种数据处理方法及设备。

背景技术

在企业级数据仓库中，需要维护大量拉链表，这些拉链表记录着对应业务数据全生命周期的变化，并可以随时还原出业务数据在某一个时点的切面，对数据统计、数据分析十分有利。

随着大数据时代的到来，对海量数据存储和处理的诉求使得Hadoop生态圈的相关组件得到大规模应用，Hive通常被用作数据仓库，提供基于Hadoop的数据存储功能，而由于Hive无法对内部表数据直接进行更新操作，从而导致使用Hive维护拉链表难度较高。

发明内容

本申请实施例提供一种数据处理方法及设备，可以解决现有技术中使用Hive维护拉链表的难度较高的技术问题。

第一方面，本申请实施例提供了一种数据处理方法，该方法包括：

接收用户输入的目标处理时刻，根据从Hive中读取到的存量拉链数据、全量原始业务数据和增量原始业务数据，确定所述目标处理时刻的变动业务数据；

根据所述存量拉链数据与所述变动业务数据，确定所述目标处理时刻的未变动拉链、变动拉链及新增业务数据；

分别对所述未变动拉链、所述变动拉链及所述新增业务数据进行预处理，得到目标拉链，并根据所述目标拉链与所述变动拉链，确定出全量拉链数据；

利用所述全量拉链数据覆盖所述存量拉链数据，得到更新后的存量拉链数据。

在一种可行的实施方式中，所述根据从Hive中读取到的存量拉链数据、全量原始业务数据和增量原始业务数据，确定在所述目标处理时刻的变动业务数据，包括：

根据所述存量拉链数据还原第一处理时刻的全量业务数据，所述第一时刻处于所述目标处理时刻之前；

根据所述第一处理时刻的全量业务数据、所述目标处理时刻的全量原始业务数据，以及所述目标处理时刻的增量原始业务数据，确定所述目标处理时刻的变动业务数据。

在一种可行的实施方式中，所述根据所述第一处理时刻的全量业务数据、所述目标处理时刻的全量原始业务数据，以及所述目标处理时刻的增量原始业务数据，确定所述目标处理时刻的变动业务数据，包括：

将在所述第一处理时刻的全量业务数据与在所述目标处理时刻的全量原始业务数据进行全连接FULL JOIN比对；

根据比对结果和所述目标处理时刻的增量原始业务数据，确定所述目标处理时刻的变动业务数据。

在一种可行的实施方式中，所述分别对所述未变动拉链、所述变动拉链及所述新增业务数据进行预处理，得到目标拉链，包括：

保持所述未变动拉链不变；

对所述变动拉链进行预设的闭链与开链处理；

对所述新增业务数据建立新链条；

合并所述未变动拉链、经过闭链与开链处理后的所述变动拉链，以及建立的所述新链条，得到所述目标拉链。