[发明专利]一种对分布式数据仓库进行更新的方法和设备

说明书

本申请提供一种对分布式数据仓库进行更新的方法和设备。该方法包括：根据预定规则将业务数据分为新数据、变更数据和旧数据；根据所述预定规则将所述分布式数据仓库的业务分区中的已存数据分为被更新数据和非更新数据；从所述业务分区中移出所述被更新数据；将所述新数据插入所述业务分区的预定位置；以及将所述变更数据插入到所述被更新数据的位置。

技术领域

本申请涉及计算机领域，尤其涉及一种对分布式数据仓库进行更新的方法和设备。

背景技术

随着互联网的发展，产生的数据越来越多，数据呈现爆发式增长，数据结构也开始多元化，数据含有的信息量越来越多，人们对数据分析研究也越来越关注。数据仓库在这样的背景下发挥着巨大的作用，数据仓库研究和解决从数据库中获取信息的问题，用于对数据进行分析处理的工作。数据仓库由于大数据时代的来临，慢慢转成分布式架构，以满足日益增长的计算及存储的要求。由于分布式数据一般都使用列式存储，并且以文件的形式保存，从而虽然提高了大数据的存储及计算性，但是也牺牲了原来关系型数据库特有的事务处理方式，也将不再提供更新数据功能，只提供插入、删除、重写功能。因此，如果要实现原有的关系型数据库的更新功能，只能将全量数据选择删除及插入，而不能针对特定的记录进行更新操作。

当前现有的更新方法包括：1、不关心当天更新了哪些数据，选取当前所需要的全量数据，包含更新的、未更新的，但不包含已经被删除的（删除的数据系统当前已经取不到）。2、删除之前的全量数据。3、将当前的全量数据插入，用以更新之前的数据。4、当前全量数据插入后，将包含原来未更新的旧数据，已经更新的新数据（包含需要删除的数据不取得）。这些方法就会带来如下问题：1、数据量大（包含选取当前全量数据、删除之前全量数据、插入当前全量数据）。2、更新步骤串行（需要将更新的3个步骤串行，且如果出错，需要人为回滚）。3、计算、存储等资源消耗大（数据量大、全删全插）。4、时间耗时长（数据量大、串行）。

发明内容

针对上述缺陷，本申请的主要目的在于提供一种对分布式数据仓库进行更新的方法和设备，以解决现有技术存在的分布式数据仓库更新繁琐的问题，其中：

根据本申请的一个方面，提供一种对分布式数据仓库进行更新的方法。该方法包括：根据预定规则将业务数据分为新数据、变更数据和旧数据；根据所述预定规则将所述分布式数据仓库的业务分区中的已存数据分为被更新数据和非更新数据；从所述业务分区中移出所述被更新数据；将所述新数据插入所述业务分区的预定位置；以及将所述变更数据插入到所述被更新数据的位置。

根据本申请实施例的方法，还包括：将移出的所述被更新数据保存到所述分布式数据仓库的删除分区中或者保存到其他存储设备中。

根据本申请实施例的方法，其中，所述根据预定规则划分业务数据还包括：使用数据标签将所获取的业务数据标记为新数据、变更数据和旧数据；以及使用数据标签将所述已存数据标记为被更新数据和非更新数据。

根据本申请实施例的方法，还包括：所述非更新数据保持不变。

根据本申请实施例的方法，还包括：从与业务处理系统相关联的数据库中接收所述业务数据。

根据本申请实施例的方法，其中，所述接收所述业务数据包括：根据预定周期接收所述业务数据。

根据本申请实施例的方法，其中，根据预定规则将业务数据分为新数据、变更数据和旧数据的步骤包括：将所述业务数据与业务信息相关联，其中，与所述业务信息中的新增业务信息相关联的所述业务数据被划分为新数据、与所述业务信息中的变化了的业务信息相关联的所述业务数据被划分为变更数据、以及与所述业务信息中的无变化业务信息相关联的所述业务数据被划分为旧数据。