[发明专利]一种数据模型抽取方法及系统、终端、介质

说明书

本发明提供一种数据模型抽取方法和系统、终端和介质，包括：将ETL任务和数据模型抽取任务串行执行；数据模型抽取任务完成后，更新高速缓存库中的数据模型；查询当前数据模型的数据时，直接从高速缓存库中获取。本发明将业务库数据抽取到指定数据库以及数据模型抽取任务串行执行，有效保证数据的准确性和一致性；在产品的作业流里面，可以很清晰地看到是ETL抽取过程失败，还是数据模型抽取过程失败。相比之前两个定时任务错开执行的方式，比较清晰，提高故障排查效率，简化运维成本；本发明数据模型抽取到高速缓存库后，再次查询当前数据集或分析的数据时，能够直接从高速缓存库获取数据，保证秒级获取大级别量的数据结果，提高系统性能。

技术领域

本发明涉及大数据领域，具体地，涉及一种数据模型抽取方法及系统、终端、介质。

背景技术

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

在现有技术中，复杂的数据处理都要借助上述ETL完成，同时为了提升查询性能，会把数据模型的数据抽取到缓存库，但必须是ETL任务完成之后，才执行数据模型的抽取。

技术人员在指标模型中建好维表或事实表，需要绑定ETL进行灌数；而生成的指标模式默认是直连，由于是模型表，数据量太多直连性能出现问题，所以改成“抽取模式”，而现有技术中数据模型抽取模式下会自动生成计划任务，作业流调度ETL也会设一个计划任务把业务库数据抽取到指定数据库，数据模型的抽取和ETL的调度是分开执行的，会有一个先后顺序或时间差，如果ETL中具体任务执行不成功即没有把最新数据更新到表中，会导致数据模型在定好的时间抽取就没有意义或者说数据不准确。

经检索，申请号为CN104732310A的中国发明公开了一种基于统一数据模型的数据集成方法，该方法通过统一数据模型和数据抽取机制建立起各外部数据源所存储的实体数据对象与虚拟数据对象之间的一一对应关系，通过数据关联关系建立起不同虚拟数据对象之间的联系，并通过统一虚拟数据中心实现所有虚拟数据对象的统一管理；由于实体数据对象与虚拟数据对象之间的一一对应关系，从而实现对实体数据对象的统一管理。其只涉及固有数据读取，无法在虚拟数据中心对“脏数据”进行管理，并且不能适应数字经济时代背景下大级别数据量读写性能的需求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种数据模型抽取方法及系统、终端、介质，能够有效保证数据的准确性和一致性。

根据本发明的一个方面，提供一种数据模型抽取方法，包括一种数据模型抽取方法，包括：

将ETL任务和数据模型抽取任务串行执行；

所述数据模型抽取任务完成后，更新高速缓存库中的数据模型；

查询当前数据模型的数据时，直接从所述高速缓存库中获取。

优选地，所述将ETL任务和数据模型抽取任务串行执行，包括：

建立若干ETL任务；

建立作业流；

将所述作业流与所述ETL任务串联；

将所述数据模型抽取任务与所述ETL任务串联；

设置所述作业流的定时任务；

执行所述作业流的定时任务，若执行成功，执行所述ETL任务，即ETL灌输到指定数据库表，并进行所述数据模型抽取任务；若执行失败，根据重试机制，再次执行所述作业流。

优选地，所述作业流由多个任务组成，包括ETL和数据模型抽取任务。

优选地，所述重试机制为通过监听作业流定时执行的状态，判断是否在给定的时间后自动重新运行当前运行失败的作业流。

优选地，若是所述作业流的定时任务执行失败，能够直接判断是所述ETL任务还是所述数据模型抽取任务的执行失败。