[发明专利]基于日志文件的数据解析方法、系统及装置

权利要求书

1.一种基于日志文件的数据解析方法，其特征在于，所述方法包括：

将数据库接入日志解析组件，以

将数据库的原始日志文件解析为目标格式；

基于所述目标格式的日志文件，添加与所述日志文件相对应的事件解析表达式；

通过所述事件解析表达式将所述日志文件的变更解析为新事件；

将解析生成的新事件输出。

2.根据权利要求1所述的基于日志文件的数据解析方法，其特征在于，所述基于所述目标格式的日志文件，添加与所述日志文件相对应的事件解析表达式，包括：

基于所述目标格式的日志文件，根据所述日志文件中涉及的表的特征添加与其相对应的事件解析表达式。

3.根据权利要求1所述的基于日志文件的数据解析方法，其特征在于，所述通过所述事件解析表达式将所述日志文件的变更解析为新事件，包括：

通过所述事件解析表达式根据所述日志文件的新增字段、更新字段或删除字段进行判断，将某个字段的变更解析为一个新事件。

4.根据权利要求1所述的基于日志文件的数据解析方法，其特征在于，所述将解析生成的新事件输出，包括：

根据所述日志文件的事件输出配置信息将解析生成的新事件输出到对应的消息队列、数据库或API。

5.根据权利要求1所述的基于日志文件的数据解析方法，其特征在于，所述日志解析组件是Canal组件。

6.根据权利要求5所述的基于日志文件的数据解析方法，其特征在于，通过所述Canal组件将数据库的原始日志文件解析为JSON格式。

7.一种基于日志文件的数据解析系统，其特征在于，所述系统包括：

数据输入层，包括日志解析组件，通过所述日志解析组件将接收到的原始日志文件解析为目标格式；

解析层，用于添加与日志文件相对应的事件解析表达式，通过所述事件解析表达式将所述日志文件的变更解析为新事件；

数据输出层，用于将解析生成的新事件输出。

8.根据权利要求7所述的基于日志文件的数据解析系统，其特征在于，所述解析层用于添加与日志文件相对应的事件解析表达式，通过所述事件解析表达式将所述日志文件的变更解析为新事件，包括：

所述解析层根据所述日志文件中涉及的表的特征添加与其相对应的事件解析表达式，通过任务调度器对所述日志文件中的各个表进行策略调度，派发到对应的事件解析表达式，通过所述事件解析表达式将所述日志文件中某个字段的变更解析为新事件。

9.一种基于日志文件的数据解析装置，其特征在于，所述装置包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述存储器中存储的所述程序指令以实现权利要求1至6中任一项所述的基于日志文件的数据解析方法步骤。

10.一种存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任一项所述的基于日志文件的数据解析方法步骤。