[发明专利]任务执行方法、装置和服务器

说明书

本发明公开了一种任务执行方法、装置和服务器，该方法包括读取任务对应的任务描述文件，任务描述文件中记录用于执行任务的数据库公共包的路径、用于表示任务的实体的数据库脚本文件的路径、以及任务对应的第一参数，第一参数用于替换数据库脚本文件中的变量；将数据库脚本文件推送到计算节点，计算节点处具有数据库公共包；根据数据库公共包的路径调用数据库公共包，通过数据库公共包按数据库脚本文件的路径,获取数据库脚本文件并使用第一参数替换数据库脚本文件中的变量，以及执行数据库脚本文件，得到任务的执行结果。根据本发明，大大降低代码重复的同时，让任务变得更加简单，节约人力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务执行方法、装置和服务器。

背景技术

Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架：通过在数据处理过程中成本更低的Suffle(数据清洗算法)方式，将MapReduce(一种编程模型)提升到一个更高的层次；利用内存数据存储和接近实时的处理能力，其性能比其他大数据处理技术要快很多倍。

传统数据清洗任务，往往需要开发大量的代码来支撑，当清洗任务很多的时候，往往工程包会变得臃肿不堪，从而带来各种弊端。例如：1.代码重复率高，人力浪费严重。当工程很大的时候，不同的开发人员之间会存在相当一部分的重复功能代码，再合并代码复杂度，将会大大浪费人力资源。2.代码维护成本太高。若当工程运行时发现某个任务存在漏洞，需要调整，势必要停掉整个工程，这样将导致大多数良好任务等待一个问题任务的情况，造成环境资源的严重浪费。3.代码灵活性差。当需要交付时，若某几个任务代码存在问题，会导致项目整体无法交付。4.代码调试、运行、转移等不便。由于任务多而导致的工程变大，会使代码的调试、运行时间变得更长，会使代码转移变得艰难。

发明内容

本发明的目的在于提供一种任务执行方法、装置和服务器,以解决传统清洗任务代码重复、工程过大、任务管理不便中的至少一个难题。

本发明解决上述技术问题所采用的技术方案如下：

提供的一种任务执行方法，包括：读取任务对应的任务描述文件，所述任务描述文件中记录用于执行所述任务的数据库公共包的路径、用于表示所述任务的实体的数据库脚本文件的路径、以及所述任务对应的第一参数，所述第一参数用于替换所述数据库脚本文件中的变量将所述数据库脚本文件推送到计算节点，所述计算节点处具有所述数据库公共包；根据所述数据库公共包的路径调用所述数据库公共包，通过所述数据库公共包按所述数据库脚本文件的路径,获取所述数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量，以及执行所述数据库脚本文件，得到所述任务的执行结果。

可选地，前述的方法，所述任务描述文件中还记录任务配置文件的路径，所述任务配置文件记录用于替换所述数据库脚本文件的门限值的第二参数；所述方法还包括：将所述任务配置文件推送到所述计算节点；通过所述数据库公共包按获取所述任务配置文件中的所述第二参数来替换所述数据库脚本文件中的门限值。

可选地，前述的方法，获取所述数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量，具体包括：根据预设的数据交换语言，将所述任务描述文件生成相应的数据交换文件，从所述数据交换文件中提取所述第一参数来替换所述数据库脚本文件中的变量。

可选地，前述的方法，还包括：根据所述任务的优先级、所述任务所需数据是否已获取，将所述任务添加到记录有按顺序排列的一个或多个任务的任务列表中；根据所述任务在所述任务列表中的顺序，从所述任务列表中读取所述任务后，执行获取所述数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量，以及根据所述数据库公共包的路径调用所述数据库公共包执行所述数据库脚本文件，得到所述任务的执行结果。

可选地，前述的方法，所述任务描述文件中包括所述任务对应的输入表的信息、输出表的信息；调用所述数据库公共包执行所述数据库脚本文件，具体包括：从所述输入表获取所述数据库脚本的输入数据并执行所述数据库脚本文件，将得到的结果加入所述输出表中。