[发明专利]数据处理方法及设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

接收用户输入的目标处理时刻，根据从数据仓库工具Hive中读取到的存量拉链数据、全量原始业务数据和增量原始业务数据，确定所述目标处理时刻的变动业务数据；

根据所述存量拉链数据与所述变动业务数据，确定所述目标处理时刻的未变动拉链、变动拉链及新增业务数据；

分别对所述未变动拉链、所述变动拉链及所述新增业务数据进行预处理，得到目标拉链，并根据所述目标拉链与所述变动拉链，确定出全量拉链数据；

利用所述全量拉链数据覆盖所述存量拉链数据，得到更新后的存量拉链数据。

2.根据权利要求1所述的方法，其特征在于，所述根据从Hive中读取到的存量拉链数据、全量原始业务数据和增量原始业务数据，确定在所述目标处理时刻的变动业务数据，包括：

根据所述存量拉链数据还原第一处理时刻的全量业务数据，所述第一时刻处于所述目标处理时刻之前；

根据所述第一处理时刻的全量业务数据、所述目标处理时刻的全量原始业务数据，以及所述目标处理时刻的增量原始业务数据，确定所述目标处理时刻的变动业务数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一处理时刻的全量业务数据、所述目标处理时刻的全量原始业务数据，以及所述目标处理时刻的增量原始业务数据，确定所述目标处理时刻的变动业务数据，包括：

将在所述第一处理时刻的全量业务数据与在所述目标处理时刻的全量原始业务数据进行全连接FULL JOIN比对；

根据比对结果和所述目标处理时刻的增量原始业务数据，确定所述目标处理时刻的变动业务数据。

4.根据权利要求1所述的方法，其特征在于，所述分别对所述未变动拉链、所述变动拉链及所述新增业务数据进行预处理，得到目标拉链，包括：

保持所述未变动拉链不变；

对所述变动拉链进行预设的闭链与开链处理；

对所述新增业务数据建立新链条；

合并所述未变动拉链、经过闭链与开链处理后的所述变动拉链，以及建立的所述新链条，得到所述目标拉链。

5.根据权利要求4所述的方法，其特征在于，对所述变动拉链进行预设的闭链与开链处理，包括：

当所述目标处理时刻等于所述变动拉链的开链时间时，保持所述变动拉链的链条不变，更新所述变动拉链的拉链数据；

或者，当所述目标处理时刻位于所述变动拉链的开链时间和闭链时间之间时，对所述变动拉链的链条进行拆分，得到原有拉链数据闭合链条和新数据新开链条；

或者，当所述目标处理时刻位于所述变动拉链的开链时间和闭链时间之外时，对所述变动拉链的链条进行补充，得到新的链条。

6.根据权利要求5所述的方法，其特征在于，所述对所述变动拉链的链条进行补充，得到新的链条，包括：

当所述目标处理时刻T大于所述变动拉链中最大的闭链时间时，新增链条[T,9999-12-31)；

当所述目标处理时刻T小于所述变动拉链中最小的开链时间MinTs时，新增链条[T，MinTs)；

当所述目标处理时刻T小于或等于所述变动拉链中最大的闭链时间，且大于或等于所述变动拉链中最小的开链时间MinTs时，新增链条[T，MinGTs)；其中，MinGTs表示所述变动拉链中大于目标处理时刻T，且距离所述目标处理时刻T最近的开链时间。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标拉链与所述变动拉链，确定出全量拉链数据，包括：

对所述目标拉链与所述变动拉链进行左反连接LEFT ANTIJOIN操作，得到第一目标拉链；

对所述目标拉链与所述第一目标拉链进行联合所有UNION ALL操作，得到所述全量拉链数据。