[发明专利]一种数据提取方法、装置、设备及存储介质

权利要求书

1.一种数据提取方法，其特征在于，所述方法包括：

获取目标数据提取任务，所述目标数据提取任务包括数据查询信息；

根据所述数据查询信息从数据湖中提取数据并对数据进行脱敏，得到第一数据集；

根据分隔符配置表对所述第一数据集中的数据添加分隔符，得到第二数据集；

向分析层发送所述第二数据集和分隔符信息，所述分隔符信息为从分隔符配置表中选取与所述分隔符对应的分隔符信息，所述分隔符信息用于使所述分析层中的数据库识别并加载所述第二数据集。

2.根据权利要求1所述的方法，其特征在于，对提取到的数据进行脱敏，包括：

根据预设脱敏规则制定脱敏函数，并利用所述脱敏函数对所述第一数据集进行敏感字段的脱敏；

其中，所述预设脱敏规则包括加密或隐藏处理所述第一数据集中的非校验位和校验位，所述校验位为敏感字段中的一个或多个数据位，所述敏感字段的类型包括用户身份标识、客户名称、账号信息和银行卡标识。

3.根据权利要求1所述的方法，其特征在于，所述分隔符信息包括在所述分隔符配置表中所述分隔符对应的第一分隔符，所述第一分隔符为所述分析层中的数据库支持且能够识别的分隔符；

其中，所述分隔符配置表是在为所述第一数据集中的数据添加分隔符前预先创建并设定的。

4.根据权利要求1所述方法，其特征在于，所述获取目标数据提取任务后，所述方法还包括：

接收分析层的分区校验请求，所述分区校验请求包括所述目标数据提取任务的数据湖中的目标数据分区；

判断所述目标数据分区是否含有数据；

若没有，终止所述目标数据提取任务。

5.根据权利要求1所述的方法，其特征在于，所述获取目标数据提取任务前，所述方法还包括：

接收数据查询信息，所述数据查询信息由分析层发送；

根据所述数据查询信息形成多个数据提取任务；

将所述多个数据提取任务加载进提数任务表中；

从所述提数任务表中循环扫描数据提取任务，并多线程执行所述数据提取任务。

6.根据权利要求1所述的方法，其特征在于，所述向分析层发送所述第一数据集和分隔符信息后，所述方法还包括：

将所述第二数据集写入数据存储集群形成缓存文件；

将所述缓存文件传输给所述分析层的指定存储路径。

7.一种数据提取装置，其特征在于，所述装置包括：目标任务获取模块、数据提取模块、分隔符添加模块和结果发送模块；

所述目标任务模块，用于获取目标数据提取任务，所述目标数据提取任务包括数据查询信息；

所述数据提取模块，用于根据所述数据查询信息从数据湖中提取数据并对数据进行脱敏，得到第一数据集；

所述分隔符添加模块，用于根据分隔符配置表对所述第一数据集中的数据添加分隔符，得到第二数据集；

所述结果发送模块，用于向分析层发送所述第二数据集和分隔符信息，所述分隔符信息为从分隔符配置表中选取与所述分隔符对应的分隔符信息，用于使所述分析层识别并加载所述第一数据集。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括分区校验模块，

所述分区校验模块，用于接收分析层的分区校验请求，所述分区校验请求包括所述目标数据提取任务的数据湖中的目标数据分区；然后判断所述目标数据分区是否含有数据，若没有，终止所述目标数据提取任务。

9.一种数据提取设备，其特征在于，所述设备包括：存储器和处理器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6中任一项所述的数据提取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，当所述计算机指令在数据提取设备上运行时，所述数据提取设备执行如权利要求1-6中任一项所述的数据提取方法的步骤。