[发明专利]一种数据处理方法、装置、终端设备及存储介质

说明书

本发明公开了数据采集技术领域，提供了一种数据处理方法、装置、终端设备及存储介质，所述方法包括：获取按照业务需求预先设置的任务依赖关系，其中，任务依赖关系包括导入任务和加工任务之间的第一执行关系，以及加工任务和导出任务之间的第二执行关系；执行导入任务；若导入任务执行成功，则根据第一执行关系，调度并执行加工任务；若加工任务执行成功，则根据第二执行关系，调度并执行导出任务；若导出任务执行成功，则将导出到关系型数据库中的目标数据发送给目标用户。本发明的技术方案实现了在大数据环境下对待处理数据的自动加工以及目标数据的自动导出，减少人工干预，提升了数据下发的时效性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、终端设备及存储介质。

背景技术

传统的关系型数据库能够将采集到的目标数据自动导出，并通过邮件系统自动发送给用户，但是，随着数据量的不断增大，越来越多的数据采集平台基于大数据环境进行数据采集，而在大数据的环境中，常使用HIVE工具对数据进行加工，现有技术中，通过HIVE工具加工得到的目标数据无法直接自动导出，需人工手动导出后再发送给用户，影响了数据发送的及时性，导致数据下发的时效性较低。

发明内容

本发明实施例提供一种数据处理方法，以解决现有技术中在大数据环境中加工后的目标数据无法直接自动导出，导致数据下发的时效性低的问题。

第一方面，本发明实施例提供一种数据处理方法，包括：

获取按照业务需求预先设置的任务依赖关系，其中，所述任务依赖关系包括导入任务和加工任务之间的第一执行关系，以及所述加工任务和导出任务之间的第二执行关系，所述导入任务用于将关系型数据库中的待处理数据导入到大数据服务器，所述加工任务用于在所述大数据服务器中根据所述业务需求对所述待处理数据进行加工，得到目标数据，所述导出任务用于将所述目标数据导出到关系型数据库；

执行所述导入任务；

若所述导入任务执行成功，则根据所述第一执行关系，调度并执行所述加工任务；

若所述加工任务执行成功，则根据所述第二执行关系，调度并执行所述导出任务；

若所述导出任务执行成功，则将导出到所述关系型数据库中的所述目标数据发送给目标用户。

第二方面，本发明实施例提供一种数据处理的装置，包括：

依赖关系获取模块，用于获取按照业务需求预先设置的任务依赖关系，其中，所述任务依赖关系包括导入任务和加工任务之间的第一执行关系，以及所述加工任务和导出任务之间的第二执行关系，所述导入任务用于将关系型数据库中的待处理数据导入到大数据服务器，所述加工任务用于在所述大数据服务器中根据所述业务需求对所述待处理数据进行加工，得到目标数据，所述导出任务用于将所述目标数据导出到关系型数据库；

任务导入模块，用于执行所述导入任务；

任务加工模块，用于若所述导入任务执行成功，则根据所述第一执行关系，调度并执行所述加工任务；

任务导出模块，用于若所述加工任务执行成功，则根据所述第二执行关系，调度并执行所述导出任务；

数据发送模块，用于若所述导出任务执行成功，则将导出到所述关系型数据库中的所述目标数据发送给目标用户。

第三方面，本发明实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述数据处理方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述数据处理方法的步骤。