[发明专利]支持多种编程语言的任务调度装置和方法

说明书

本发明公开了支持多种编程语言的任务调度装置和方法，涉及计算机技术领域。该装置的一具体实施方式包括：数据库，用于存储任务的任务元；任务调度模块，用于抓取数据库中的到期的任务的任务元，并发送给任务控制模块；任务控制模块，启动用户空间中的与任务元对应的任务；其中，任务元包括唯一标识一个任务的任务标识ID；任务的任务粒度为进程。该实施方式能够避免任务编写的语言对系统编写的语言的依赖，达到可以使用多种编程语言编写调度任务的技术效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种支持多种编程语言的任务调度装置和方法。

背景技术

大数据发展到今天，已经变成一个庞大的产业。大数据的流程基本可以分为以下步骤：采集->清洗处理->基础库->产品应用，目前大数据所提供的平台基本上都集中在：采集->清洗处理->基础库这个阶段。现实应用中经常需要对基础数据进行加工与转换来适应不同的产品需求。基础表的数据量一般都相当庞大，在线请求很难在几百个毫秒内计算出来，因此不适合在基础表上直接开发产品，需要对基础数据表进行进一步的加工抽取、分库分表，然后再应用于产品。现有技术中通常采用mapreduce机制或Storm机制对分解重构后的基础表进行调度。

发明人发现现有技术中至少存在如下问题：

1)只能使用Java语言进行编写，对不熟悉Java的程序员来说受到了一定限制，不够灵活；

2)平台环境庞大，需要一定的人力成本来维护分布式文件系统及调度系统hadoop或者流式任务调度系统storm的集群；

3)无调度监控，调度任务的进度等无法知悉；

4)任务的操作、控制无法实现可视化；

6)定时的任务执行调度较为困难；

5)对于仓库管理系统，现有这些平台更适合数据进入仓库前的各种处理，不适合从仓库到产品的抽取过程。

发明内容

有鉴于此，本发明实施例提供一种支持多种编程语言的任务调度装置和方法，能够使用多种编程语言编写调度任务，并且调度任务的执行进度可监控。

为实现上述目的，根据本发明实施例的一个方面，提供了一种支持多种编程语言的任务调度装置，包括：

数据库，用于存储任务的任务元；

任务调度模块，用于抓取数据库中的到期的任务的任务元，并发送给任务控制模块；

任务控制模块，启动用户空间中的与任务元对应的任务；

其中，任务元包括唯一标识一个任务的任务标识ID；任务的任务粒度为进程。

可选地，用户空间为Linux用户空间，任意两个用户空间中的任务之间隔离。

可选地，任务元包括以下至少之一：任务对应的用户、任务在用户空间的存储路径、启动命令、启动时间、结束时间、任务状态、执行进度、任务状态上报次数。

可选地，任务调度模块基于任务的任务状态和/或执行进度，判断任务是否为到期的任务。

可选地，任务控制模块包括以下至少之一：第一接口、第二接口和第三接口，用于接收任务上报的任务状态和/或执行进度；其中，

第一接口，由任务在被启动时调用；

第二接口，由任务在执行过程中调用；

第三接口，由任务在执行结束时调用。

可选地，任务控制模块进一步用于：依据任务的任务状态和/或执行进度，更新数据库中的任务的任务元。