[发明专利]一种数据入库方法及装置

说明书

本申请实施例提供一种数据入库方法及装置。其中，方法包括如下的步骤：根据数据源的来源信息，确定入库模式；若所述入库模式为实时模式，则在满足实时入库条件时对所述数据源进行实时入库处理；若所述入库模式为批量离线模式，则在关闭实时入库通道后对所述数据源进行批量离线数据入库处理。本发明实施例融合实时入库和批量离线入库两种数据仓库的更新方式，同时通过实时和离线入库模式的切换避免了因两种入库模式的相互干扰导致的数据丢失和重复等问题。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据入库方法及装置。

背景技术

ETL(Extract-Transform-Load，抽取-转换-加载)是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

现有技术中，数据仓库的更新几乎都是基于批量离线处理的工作模式，即数据源通常按每天、每周或每月这种固定的周期加载进入数据仓库。这就导致那些需要实时加载进入数据仓库的变更数据无法实时加载进入数据仓库，从而导致无法提供这些变更数据的实时查询。

可见，现有技术只能支持离线批量更新数据仓库的场景，而无法支持实时更新数据仓库的场景。

发明内容

现有技术中，ETL最终的数据仓库主要以Hadoop为主，由于Hadoop项目的核心子项目HDFS(Hadoop Distributed File System，分布式文件系统)无法提供实时修改和写入数据的功能。若是从多个分散的数据源批量离线抽取数据，只有在将抽取到的数据进行聚合并生成完整的数据信息之后，才能加载到数据仓库中。可见，现有技术中，每次必须是以全量数据替换或放入HDFS中，无法做到部分字段的精细化更新，也无法支持实时更新数据仓库的场景，可见现有数据入库方式较为单一。

于是，在本发明的一个实施例中，提供了一种数据入库方法。该方法包括：根据数据源的来源信息，确定入库模式；若所述入库模式为实时模式，则在满足实时入库条件时对所述数据源进行实时入库处理；若所述入库模式为批量离线模式，则在关闭实时入库通道后对所述数据源进行批量离线数据入库处理。

可选地，所述根据数据源的来源信息，确定入库模式，包括：若所述数据源来自消息队列，则确定所述入库模式为实时模式；若所述数据源来自关系型数据库，则确定所述入库模式为批量离线模式。

可选地，所述方法，还包括：监测是否存在有正在进行批量离线数据入库处理的数据引擎；若没有，则满足所述实时入库条件。

可选地，对所述数据源进行实时入库处理，包括：从所述数据源中抽取目标数据；对所述目标数据进行清洗处理；将清洗处理后的目标数据转换为预设格式；根据所述目标数据的名称及时间信息，确定所述目标数据的主键或联合主键；根据所述主键或所述联合主键，将所述预设格式的所述目标数据添加至所述主键或所述联合主键对应数据行的部分列中。

可选地，对所述数据源进行批量离线数据入库处理，包括：从所述数据源中抽取目标数据；对所述目标数据进行清洗处理；将清洗处理后的目标数据转换为预设格式；对所述预设格式的所述目标数据进行聚合处理，以得到全量数据信息；将所述全量数据信息作为一个数据行添加至数据仓库中。

可选地，所述方法，还包括：在所述数据源批量离线入库完成后，将所述数据源批量导出并转储至特定文件夹，以供下游第一数据引擎离线下载；和/或在所述数据源批量离线入库完成后，将所述数据源批量导出并转储至分布式文件系统，以供下游第二数据引擎离线下载。

可选地，所述方法，还包括：基于已入库的数据创建外部表，以对外提供查询；

可选地，所述方法，还包括：对所述外部表进行内部表的转化处理。