[发明专利]食品监管信息资源增量ETL系统及方法

说明书

本发明提供一种食品监管信息资源增量ETL的方法，应用于食品监管信息资源增量ETL系统，所述方法包括：抽取目标库及源数据库中的数据至kettle缓存；在kettle缓存中分别排序、去重目标库及源数据库中的数据；合并排序、去重后的目标库及源数据库中的数据；分类标记、映射合并后的目标库及源数据库中的数据；过滤分类标记及映射后的目标库及源数据库中的数据进行，将目标库及源数据库中相同的数据过滤；及根据源数据库的数据更新目标库的数据。本发明能够将数据源中的食品安全监管数据增量抽取到数据仓库，且在抽取过程中不会删除数据仓库中目标表数据，影响基于数据仓库的应用运行。

【技术领域】

本发明涉及食品安全监管技术领域，具体涉及一种食品监管信息资源增量ETL的方法、食品监管信息资源增量ETL系统。

【背景技术】

纸质文档记录食品监管活动数据，到数据库相关技术产生，由纸质文档记录转变为计算机代替纸质文档记录业务活动中产生的信息资源，以提高工作的效率。但这些系统开发时，往往都是针对单个业务域进行设计的，从而导致这些系统之间没有统一的系统建设标准，系统与系统之间没有必然的联系，部门之间信息化协同办公也产生了障碍。因此在现在独立建设的各个系统之上无法实现更高层次数据共享以及实现协同办公。各部门如果想要在这些积累下来的数据中提取想要的数据，那么就必须要将这些数据集中起来，创建数据仓库，从而达到数据共享的目的，这样才能依据这些数据更准确、有效的对过往的数据进行分析，为领导预判以后的事态发展以及决策提供依据。

食品监管部门日常业务开展积累的数据是数据仓库建设的基础，然而这些数据都是来自不同部门建设的业务系统，所以各部门的数据之间存在异构、标准不统一、来源不统一、以及数据质量低下等复杂的数据融合问题。且有的系统维护人员频繁变动，使用的技术版本老旧，不利于在数据库中或系统添加用于数据增量抽取的时间戳、或者触发器。

【发明内容】

鉴于以上原因，本发明提供一种食品监管信息资源增量ETL的方法及食品监管信息资源增量ETL系统。

为达到上述目的，本发明所采用的技术方案是：一种食品监管信息资源增量ETL的方法，应用于食品监管信息资源增量ETL系统，所述方法包括：

抽取目标库及源数据库中的数据至kettle缓存；

在kettle缓存中分别排序、去重目标库及源数据库中的数据；

合并排序、去重后的目标库及源数据库中的数据；

分类标记、映射合并后的目标库及源数据库中的数据；

过滤分类标记及映射后的目标库及源数据库中的数据进行，将目标库及源数据库中相同的数据过滤；及

根据源数据库的数据更新目标库的数据。

作为优选，所述根据源数据库的数据更新目标库的数据具体包括：

将目标库中没有，但是源数据库中有的数据新增到所述目标库中。

作为优选，所述根据源数据库的数据更新目标库的数据具体包括：

将源数据库中值发生了变化的数据，在所述目标库中做更新处理。

本发明还提供一种食品监管信息资源增量ETL系统，所述食品监管信息资源增量ETL系统包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的食品监管信息资源增量ETL程序，所述食品监管信息资源增量ETL程序被所述处理器执行时实现如下步骤：

抽取目标库及源数据库中的数据至kettle缓存；

在kettle缓存中分别排序、去重目标库及源数据库中的数据；

合并排序、去重后的目标库及源数据库中的数据；