[发明专利]一种数据抽取、转换和加载ETL的方法和设备

权利要求书

1.一种数据抽取、转换和加载ETL方法，其特征在于，包括：

获取待处理日志文件；其中，所述待处理日志文件包含至少一条日志记录；

获取业务处理规则，并对所述业务处理规则进行解析处理生成对应的流式处理链；其中，所述流式处理链包含所述业务处理规则中预设转换算子的逻辑表达式；

在消费所述待处理日志文件的日志记录时，执行所述流式处理链，生成所述日志记录的以上下文树存储的运算结果；其中，所述上下文树至少包含一个根节点，所述上下文树的节点用于保存描述所述运算结果的变量；其中，所述执行所述流式处理链包括将所述日志记录中的数据以流式的方式通过所述流式处理链；

提取所述上下文树中各节点路径上的所有变量，生成所述日志记录的处理结果；其中，所述上下文树中的每一个叶节点代表一条待发送到后端的记录，所述上下文树的叶节点到根节点形成的路径上包含组织所述待发送到后端的记录的变量；

将所述处理结果加载至目标数据库；

所述获取待处理日志文件，包括：

将采集到的日志数据按照日志主题进行分类，得到多个日志文件；

从预设配置文件中查找各所述日志主题的数据连接规则；

针对每个日志文件，根据该日志文件对应的数据连接规则对所述日志文件中的日志数据进行解析处理，生成多条日志记录，并将所述多条日志记录组合生成待处理日志文件；

所述获取业务处理规则，并对所述业务处理规则进行解析处理生成对应的流式处理链，包括：

从所述预设配置文件中查找各所述日志主题的业务处理规则；

基于规则引擎对各所述业务处理规则进行解析处理，生成对应的流式处理链；

在消费所述待处理日志文件的日志记录时，执行所述流式处理链，生成所述日志记录的以上下文树存储的运算结果，包括：

接收消费者发送的日志订阅请求；其中，所述日志订阅请求包含目标日志主题；

从所述预设配置文件中查找所述目标日志主题对应的第一待处理日志文件和对应的第一流式处理链；

针对所述第一待处理日志文件中的每条日志记录，基于所述第一流式处理链对所述日志记录进行逻辑运算，将所述日志记录分裂为变量群组来产生上下文树，并将所述上下文树保存为所述日志记录的运算结果；

所述提取所述运算结果中各节点路径上包含的数据，生成对应的处理结果，包括：

在所述上下文树包含叶节点的情况下，遍历所述上下文树中所有的叶节点，提取每个叶节点至所述根节点路径上的变量，生成变量集；

识别所述变量集中的元数据，生成对应所述日志记录的处理结果。

2.如权利要求1所述的数据抽取、转换和加载ETL方法，所述将所述处理结果加载至目标数据库，包括：

根据所述目标日志主题确定目标数据库；

从预设配置文件中查找所述目标数据库的元数据类型；

根据元数据类型对处理结果进行格式转换，并将转换后的数据加载至目标数据库。

3.如权利要求1或2所述的数据抽取、转换和加载ETL方法，其特征在于，所述预设转换算子包括下述至少一种：

过滤filter算子、map算子、flatmap算子以及选择select算子。