[发明专利]一种数据处理方法、装置、终端设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

获取按照业务需求预先设置的任务依赖关系，其中，所述任务依赖关系包括导入任务和加工任务之间的第一执行关系，以及所述加工任务和导出任务之间的第二执行关系，所述导入任务用于将关系型数据库中的待处理数据导入到大数据服务器，所述加工任务用于在所述大数据服务器中根据所述业务需求对所述待处理数据进行加工，得到目标数据，所述导出任务用于将所述目标数据导出到关系型数据库；

执行所述导入任务；

若所述导入任务执行成功，则根据所述第一执行关系，调度并执行所述加工任务；

若所述加工任务执行成功，则根据所述第二执行关系，调度并执行所述导出任务；

若所述导出任务执行成功，则将导出到所述关系型数据库中的所述目标数据发送给目标用户。

2.如权利要求1所述的数据处理方法，其特征在于，所述执行所述导入任务包括：

获取待连接的目标数据库的连接信息；

根据所述连接信息连接所述目标数据库；

创建用于在大数据环境中存放导入数据的第一数据表；

使用sqoop导入工具将所述待处理数据导入到所述第一数据表中。

3.如权利要求2所述的数据处理方法，其特征在于，所述若所述导入任务执行成功，则根据所述第一执行关系，调度并执行所述加工任务包括：

创建用于在所述大数据环境中存放加工后的所述目标数据的第二数据表；

根据所述业务需求，对所述第一数据表中的数据进行加工，得到所述目标数据；

将所述目标数据保存在所述第二数据表中。

4.如权利要求3所述的数据处理方法，其特征在于，所述若所述加工任务执行成功，则根据所述第二执行关系，调度并执行所述导出任务包括：

创建用于在关系型数据库中存放所述目标数据的第三数据表；

使用sqoop导出工具将所述第二数据表中保存的所述目标数据导出到所述第三数据表中；

根据所述导出任务的标识信息，在预存的导出标识表中将该标识信息对应的完成状态设置为导出完成，其中，所述导出标识表包含导出任务的标识信息和完成状态，所述标识信息用于唯一标识所述导出任务，所述完成状态用于标识所述导出任务是否完成。

5.如权利要求4所述的数据处理方法，其特征在于，所述若所述导出任务执行成功，则将导出到所述关系型数据库中的所述目标数据发送给目标用户包括：

定期读取所述导出标识表中所述导出任务的标识信息对应的完成状态；

若所述完成状态为导出完成，则确认所述导出任务执行完成，并将所述第三数据表中的目标数据发送给所述目标客户。

6.一种数据处理装置，其特征在于，所述数据处理装置包括：

依赖关系获取模块，用于获取按照业务需求预先设置的任务依赖关系，其中，所述任务依赖关系包括导入任务和加工任务之间的第一执行关系，以及所述加工任务和导出任务之间的第二执行关系，所述导入任务用于将关系型数据库中的待处理数据导入到大数据服务器，所述加工任务用于在所述大数据服务器中根据所述业务需求对所述待处理数据进行加工，得到目标数据，所述导出任务用于将所述目标数据导出到关系型数据库；

任务导入模块，用于执行所述导入任务；

任务加工模块，用于若所述导入任务执行成功，则根据所述第一执行关系，调度并执行所述加工任务；

任务导出模块，用于若所述加工任务执行成功，则根据所述第二执行关系，调度并执行所述导出任务；

数据发送模块，用于若所述导出任务执行成功，则将导出到所述关系型数据库中的所述目标数据发送给目标用户。

7.如权利要求6所述的数据处理装置，其特征在于，任务导入模块包括：

连接信息获取子模块，用于获取待连接的目标数据库的连接信息；

数据库连接子模块，用于根据所述连接信息连接所述目标数据库；

第一创建子模块，用于创建用于在大数据环境中存放导入数据的第一数据表；

数据导入子模块，用于使用sqoop导入工具将所述待处理数据导入到所述第一数据表中。