[发明专利]任务处理方法、装置、计算机设备及计算机可读存储介质在审
| 申请号: | 202210201152.2 | 申请日: | 2022-03-03 |
| 公开(公告)号: | CN114579202A | 公开(公告)日: | 2022-06-03 |
| 发明(设计)人: | 张中杰 | 申请(专利权)人: | 平安壹钱包电子商务有限公司 |
| 主分类号: | G06F9/445 | 分类号: | G06F9/445;G06F16/2453;G06F16/25 |
| 代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 武志峰 |
| 地址: | 518000 广东省深圳市福田区福田*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 任务 处理 方法 装置 计算机 设备 可读 存储 介质 | ||
1.一种任务处理方法,其特征在于,包括:
基于预设集成开发环境包含的预设任务编辑页面,获取任务配置数据,所述任务配置数据包括用户配置的任务参数,及根据任务类型确定的预设SQL任务脚本;
响应于用户保存所述任务配置数据的保存指令,生成所述任务的任务标识,并构建所述任务标识与所述任务参数之间的第一匹配关系,及构建所述任务标识与所述预设SQL任务脚本之间的第二匹配关系,并将所述任务标识与所述任务参数及所述任务标识与所述预设SQL任务脚本存储至预设数据库;
响应于启动所述任务的确定启动指令,获取所述任务标识,并根据所述第一匹配关系,获取所述任务标识对应的任务参数,采用预设SHELL拼接脚本将所述任务参数拼接成任务启动命令;
根据所述第二匹配关系,获取所述任务标识对应的预设SQL任务脚本,并获取所述任务启动命令,采用所述任务启动命令包含的任务参数运行所述预设SQL任务脚本,进行任务的执行。
2.根据权利要求1所述任务处理方法,其特征在于,所述将所述任务标识与所述任务参数及所述任务标识与所述预设SQL任务脚本存储至预设数据库,包括:
获取任务所属的预设任务运行环境类型,并获取所述预设任务运行环境类型对应的预设SQL格式配置;
采用所述预设SQL格式配置,将所述预设SQL任务脚本进行格式化,并将格式化后的SQL任务脚本存储至预设数据库。
3.根据权利要求2所述任务处理方法,其特征在于,所述预设任务运行环境类型包括生产环境与测试环境。
4.根据权利要求1所述任务处理方法,其特征在于,任务运行的系统框架包括预设流式任务平台与预设大数据集群,所述根据所述第二匹配关系,获取所述任务标识对应的预设SQL任务脚本,并获取所述任务启动命令,包括:
基于所述预设流式任务平台,将所述任务启动命令发送至所述预设大数据集群,其中,所述预设流式任务平台基于预设计算引擎而构建,所述预设计算引擎支持流式任务且支持SQL语法;
所述预设大数据集群获取所述任务启动命令,并获取所述任务标识,且所述根据所述第二匹配关系,获取所述任务标识对应的预设SQL任务脚本。
5.根据权利要求4所述任务处理方法,其特征在于,所述基于所述预设流式任务平台,将所述任务启动命令发送至所述预设大数据集群,包括:
基于所述预设流式任务平台,获取所述任务参数包含的任务服务器单位标识;
将所述任务启动命令发送至所述任务服务器单位标识对应的任务服务器单位中的预设大数据集群。
6.根据权利要求1所述任务处理方法,其特征在于,任务为数仓建模,所述获取任务配置数据,包括:
获取所述数仓建模所对应的数仓类型,并获取所述数仓类型所对应的预设SQL任务脚本。
7.根据权利要求6所述任务处理方法,其特征在于,所述数仓类型包括实时数仓与离线数仓,所述实时数仓对应基于Flink SQL语法的预设SQL任务脚本,所述离线数仓对应基于Spark SQL语法的预设SQL任务脚本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安壹钱包电子商务有限公司,未经平安壹钱包电子商务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210201152.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:电池干燥炉
- 下一篇:一种纸护板推送装置及其打包机和打包方法





