[发明专利]一种数据入库方法、装置、电子设备和存储介质

权利要求书

1.一种数据入库方法，其特征在于，包括：

基于Flink框架获取用户配置的任务参数，其中，任务参数中包含数据源地址和数据转换方式；

根据所述数据源地址进行数据抽取获取源数据，其中，所述源数据的类型包括文件数据、数据库数据、消息队列数据或分布式文件系统HDFS数据；

根据所述数据转换方式对所述源数据进行转换获得转换数据，并将所述转换数据以数据流的形式写入到目标数据库的指定位置。

2.根据权利要求1所述的方法，其特征在于，所述基于Flink框架获取用户的任务配置参数之前，还包括：

获取用户的任务创建指令；

根据所述任务创建指令进行任务参数的配置。

3.根据权利要求2所述的方法，其特征在于，所述获取用户的任务创建指令，包括：

获取用户在可视化任务配置界面的操作指示，其中，所述可视化任务配置界面包括画布工具栏、组件栏和任务组件配置区；

根据所述操作指示获取用户的任务创建指令。

4.根据权利要求1所述的方法，其特征在于，所述根据所述数据源地址进行数据抽取获取源数据，包括：

对所述数据源地址进行扫描获取扫描文件；

从所述扫描文件中获取所述源数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述数据转换方式对所述源数据进行转换获得转换数据之前，还包括：

对所述源数据进行解析获得解析数据；

对所述解析数据进行识别并确定所述解析数据不是脏数据；

所述根据所述数据转换方式对所述源数据进行转换获得转换数据，包括：

根据所述数据转换方式对解析数据进行转换获得所述转换数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述解析数据进行识别；

根据识别结果确定所述解析数据为脏数据时，将所述解析数据进行删除。

7.根据权利要求6所述的方法，其特征在于，所述数据转换方式包括：字段选择、类型校验、范围校验、替换、设置缺省值、脱敏、日期转换、合并、字段添加、字段截取、拆分和IP回填中的至少一种。

8.一种数据入库装置，其特征在于，所述装置包括：

任务参数获取模块，用于基于Flink框架获取用户配置的任务参数，其中，任务参数中包含数据源地址和数据转换方式；

源数据获取模块，用于根据所述数据源地址进行数据抽取获取源数据，其中，所述源数据的类型包括文件数据、数据库数据、消息队列数据或分布式文件系统HDFS数据；

数据入库模块，用于根据所述数据转换方式对所述源数据进行转换获得转换数据，并将所述转换数据以数据流的形式写入到目标数据库的指定位置。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。