[发明专利]一种数据入库方法、装置、电子设备和存储介质

说明书

本发明公开了一种数据入库方法、装置、电子设备和存储介质，包括：基于Flink框架获取用户配置的任务参数，其中，任务参数中包含数据源地址和数据转换方式；根据数据源地址进行数据抽取获取源数据，其中，源数据的类型包括文件数据、数据库数据、消息队列数据或分布式文件系统HDFS数据；根据数据转换方式对源数据进行转换获得转换数据，并将转换数据以数据流的形式写入到目标数据库的指定位置。通过在Flink框架下获取包含数据源地址和数据转换方式的任务参数，将从数据源地址获取的源数据根据转换方式进行转换，并将转换数据写入到目标数据库的指定位置，从而实现了基于Flink框架将复杂的源数据进行处理并进行准确的入库保存。

技术领域

本发明实施例涉及数据处理处理技术领域，尤其涉及一种数据入库方法、装置、电子设备和存储介质。

背景技术

Flink是大数据领域一个新兴的使用流式处理来模拟批量处理的框架，使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。并且还可扩展到实时监控、实时报表和实时仓库等应用场景。

但是目前关于Flink框架的研究应用主要在于数据处理的实时需求，但时当面对海量数据源时，通常会存在许多不规则或复杂的数据结构，而基于Flink框架如何实现对不同复杂数据的入库处理的目前还没有很好的解决方案。

发明内容

本发明实施例提供了一种数据入库方法、装置、电子设备和存储介质。以实现在Flink框架下将复杂的源数据进行处理并准确的入库保存。

第一方面，本发明实施例公开了一种数据入库方法，包括：

基于Flink框架获取用户配置的任务参数，其中，任务参数中包含数据源地址和数据转换方式；

根据数据源地址进行数据抽取获取源数据，其中，源数据的类型包括文件数据、数据库数据、消息队列数据或分布式文件系统HDFS数据；

根据数据转换方式对源数据进行转换获得转换数据，并将转换数据以数据流的形式写入到目标数据库的指定位置。

第二方面，本发明实施例提供了一种数据入库装置，包括：

任务参数获取模块，用于基于Flink框架获取用户配置的任务参数，其中，任务参数中包含数据源地址和数据转换方式；

源数据获取模块，用于根据数据源地址进行数据抽取获取源数据，其中，源数据的类型包括文件数据、数据库数据、消息队列数据或分布式文件系统HDFS数据；

数据入库模块，用于根据数据转换方式对源数据进行转换获得转换数据，并将转换数据以数据流的形式写入到目标数据库的指定位置。

第三方面，本发明实施例还提供了一种电子设备，电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例的方法。

在本发明实施例中，通过在Flink框架下获取包含数据源地址和数据转换方式的任务参数，将从数据源地址获取的源数据根据转换方式进行转换，并将转换数据写入到目标数据库的指定位置，从而实现了基于Flink框架将复杂的源数据进行处理并进行准确的入库保存。

附图说明

图1A是本发明实施例一提供的数据入库方法的流程图；

图1B是本发明实施例一提供的可视化任务配置界面示意图；

图2A是本发明实施例二提供的数据入库方法的流程图；