[发明专利]一种数据抽取、转换和加载ETL的方法和设备

说明书

本申请适用于数据处理技术领域，提供了一种数据抽取、转换和加载ETL方法及设备。方法包括获取待处理日志文件；获取业务处理规则，并对所述业务处理规则进行解析处理生成对应的流式处理链；在消费所述待处理日志文件的日志记录时，执行所述流式处理链，生成所述日志记录的以上下文树存储的运算结果；提取所述上下文树中各节点路径上的所有变量，生成所述日志记录的处理结果；将所述处理结果加载至目标数据库。本申请实施例提供的ETL方法通过流式处理链与树状上下文实现了配置代替开发，极大的减少了ETL数据处理过程中的代码开发工作量，提高了数据处理效率。

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据抽取、转换和加载ETL的方法和设备。

背景技术

随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心，在进行跨应用的数据实时分析处理时，需要将分布的、异构的数据源中的数据，抽取到临时数据库后进行清洗、转换和集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础，此过程被称为ETL，即数据的抽取(Extract)、转换(Transform)和加载(Load)。

目前的ETL的数据处理系统中，通常是采集数据后基于Flink或Spark等实时处理框架进行后续的数据计算和转换。

其中，Flink和Spark通常通过DAG(有向无环图)组织业务规则，以实现灵活的业务需求，但这需要人工编写大量的代码去实现业务规则，业务规则一旦改变，就需要修改代码，尤其是业务规则中具备大量相同的处理逻辑的时候，带来了大量的工作冗余，导致基于ETL的数据处理过程效率低下。

发明内容

有鉴于此，本申请实施例提供了一种数据抽取、转换和加载ETL方法和设备，以解决现有技术中ETL处理效率低的技术问题。

第一方面，本申请实施例提供了一种数据抽取、转换和加载ETL方法，包括：

获取待处理日志文件；其中，待处理日志文件包含至少一条日志记录；

获取业务处理规则，并对业务处理规则进行解析处理生成对应的流式处理链；其中，流式处理链包含业务处理规则中预设转换算子的逻辑表达式；

在消费待处理日志文件的日志记录时，执行流式处理链，生成日志记录的以上下文树存储的运算结果；其中，上下文树至少包含一个根节点，上下文树的节点用于保存描述所述运算结果的变量；

提取上下文树中各节点路径上的所有变量，生成日志记录的处理结果；

将处理结果加载至目标数据库。

在第一方面的一种可能的实现方式中，获取待处理日志文件，包括：

将采集到的日志数据按照日志主题进行分类，得到多个日志文件；

从预设配置文件中查找各所述日志主题的数据连接规则；

针对每个日志文件，根据该日志文件对应的数据连接规则对所述日志文件中的日志数据进行解析处理，生成多条日志记录，并将所述多条日志记录组合生成待处理日志文件。

在第一方面的一种可能的实现方式中，获取业务处理规则，并对业务处理规则进行解析处理生成对应的流式处理链，包括：

从预设配置文件中查找各日志主题的业务处理规则；

基于规则引擎对各业务处理规则进行解析处理，生成对应的流式处理链。

在第一方面的一种可能的实现方式中，在消费待处理日志文件的日志记录时，执行流式处理链，生成日志记录的以上下文树存储的运算结果，包括：

接收消费者发送的日志订阅请求；其中，日志订阅请求包含目标日志主题；