[发明专利]判断数据状态的装置和方法以及数据更新的装置和方法

说明书

本公开涉及判断数据状态的装置和方法以及数据更新的装置和方法。判断数据状态的方法包括：给包括增量数据和目标数据的所有数据中的每一条数据都配置一个校验字段，校验字段的值由相应数据的全部非主键字段确定，对于值不完全相同的非主键字段，所确定的校验字段的值也不同；将增量数据与目标数据的主键字段进行比较，如果不同，则判断增量数据的状态为新增，如果相同，则比较增量数据与目标数据的校验字段是否相同；如果增量数据与目标数据的校验字段不同，则判断增量数据的状态为修改，而如果相同则判断增量数据的状态为不变。通过引入校验字段，在判断增量数据状态时，避免了人工对不同的非主键字段反复编码的工作，极大的提升了判断效率。

技术领域

本发明涉及数据仓库领域，尤其是判断数据状态的装置和方法以及数据更新的装置和方法，以及一种存储有执行所述判断数据状态的方法的指令的计算机可读存储介质。

背景技术

随着互联网和移动互联网的飞速发展，大型电信行业公司和电子商务公司，在日常运营中生产出的数据量越来越大。这些数据含有的信息量越来越多，越来越多元化，越来越复杂，并呈现爆发式增长。

为了对数据进行有效存储，通常会先从企业日常运营生产的数据中抽取出增量数据，然后判定增量数据的变化状态，所述增量数据有三种变化状态，分别是新增、修改和不变三种。再将其中新增或修改的信息添加到企业的全量数据库中。在对海量数据的存储应用中，如何根据增量数据的状态来更新全量数据，确保增量数据所包含的新增信息，全部添加到全量数据中，使得全量数据在不增加冗余数据的基础上完成更新，是每一个拥有大数据量的企业都会碰到的问题。

相关技术中判定增量数据状态，更新全量数据的方法有两种。第一种是直接将增量数据和全量数据进行对比，判定增量数据状态，并根据增量数据状态更新全量数据表。第二种是先从全量数据中截取一段周期的数据与增量数据进行对比，判定增量数据状态，再根据增量数据状态更新所述截取出的部分全量数据，最后将这部分截取出的部分全量数据表插回到全量数据中。

无论采用上述哪种方法，均需判定增量数据的变化状态，现有的判定增量数据状态方法是，取主键相同的增量数据与目标数据，对增量数据与目标数据的每一个非主键字段进行比较，判定增量数据的变化状态。

发明内容

相关技术方案中存在如下问题。例如，采用直接将全量数据整体与增量数据进行对比判定的方案，可以保证数据准确性，但是耗费了大量的时间和计算资源。又例如，采用从全量数据中截取一段周期的数据与增量数据进行对比判定的方案，虽然能减少计算时间和计算资源的消耗，但会影响数据的准确性。

在判定增量数据状态的过程中，由于增量数据的字段数和字段类型的不同，每一次判定都需要重新编写复杂的比较代码，需要大量的重复工作，效率低下。

至少部分针对上述问题，提出了本发明。

根据本发明的一方面，提供了一种判断数据状态的方法，包括：给包括增量数据和目标数据的所有数据中的每一条数据都配置一个校验字段，所述校验字段的值由相应数据的全部非主键字段确定，对于值不完全相同的非主键字段，所确定的校验字段的值也不同；将增量数据与目标数据的主键字段进行比较，如果增量数据与目标数据的主键字段不同，则判断增量数据的状态为新增；如果增量数据与目标数据的主键字段相同，则比较增量数据与目标数据的校验字段是否相同，如果增量数据与目标数据的校验字段不同，则判断增量数据的状态为修改，如果增量数据与目标数据的校验字段相同，则判断增量数据的状态为不变。