[发明专利]实时数据的计算方法及装置

说明书

本申请提供一种实时数据的计算方法，应用于在线业务系统；其中，所述在线业务系统搭载了基于python语言的算法运行环境以及算法库，包括：在线业务系统从对接的实时数据处理平台中获取实时业务数据；基于所述算法库中的目标算法为所述实时业务数据生成python计算任务；基于预设的调度策略为所述python计算任务分配计算节点设备，并将所述python计算任务下发至所述计算节点设备进行执行；通过可视化界面输出所述计算节点设备返回的所述python计算任务的计算结果。本申请可以提升实时计算的实效性，降低计算延时。

技术领域

本申请涉及计算机应用领域，尤其涉及一种实时数据的计算方法及装置。

背景技术

相关技术中，在实时数据处理平台中，通常都会搭载独立的算法平台，利用算法平台提供的通用解决方案，给业务运营方提供相关的算法服务；例如，以阿里集团自主研发的实时数据处理平台ODPS(Open Data Processing Service，开放数据处理服务)为例，在ODPS平台内通常都会搭载诸如XLib，PAI等算法平台，面向阿里集团提供各种类型的算法服务。

实时数据处理平台中搭载的算法平台，通常会利用平台中集成的消息中间件，通过采集业务系统产生的日志文件，来收集原始的业务数据，并将收集到的原始的业务数据回传到实时数据处理平台。而在大数据处理平台中，通常会配置一个或多个任务，对这些原始的业务数据进行数据处理，将这些原始的业务数据处理成为标准的格式化数据作为算法平台的数据输入。在算法平台中，可以利用算法库中的相关算法对输入的业务数据进行实时计算，再将计算结果回写至实时数据处理平台，在实时数据处理平台中相关的数据表中进行存储；最后，与实时数据处理平台对接的下游业务系统，可以通过读实时数据处理平台中的数据表来调用实时计算的计算结果。

然而，在以上方案中，虽然在某种程度上可以满足实时的计算需求，但至少存在以下的缺陷:

一方面，虽然在现有的实时数据处理平台中，也能通过做相关的算法开发对算法平台中的算法库进行扩展，但由于平台现有的算法库中所支持的算法种类有限，因此仅适合面向一些稳定型的业务做算法支持，对于那些快速变化的业务场景(比如短时间内的大型促销业务)来说，难以很好地支持。

另一方面，在现有的实时数据处理平台中，原始的业务数据从采集到回传到实时数据处理平台，需要较长的延迟；而且，原始的业务数据经过算法的计算处理后，再将计算结果回写到实时数据处理平台，由对接的下游业务系统调用，也会导致处理延时急剧增加，因此使得平台整体的业务稳定性以及时效性难以保障，仅能适应一些离线的计算任务。

发明内容

本申请提出一种实时数据的计算方法，应用于在线业务系统；其中，所述在线业务系统搭载了基于python语言的算法运行环境以及算法库；所述方法包括：

在线业务系统从对接的实时数据处理平台中获取实时业务数据；

基于所述算法库中的目标算法为所述实时业务数据生成python计算任务；

基于预设的调度策略为所述python计算任务分配计算节点设备，并将所述python计算任务下发至所述计算节点设备进行执行；

通过可视化界面输出所述计算节点设备返回的所述python计算任务的计算结果。

本申请还提出一种实时数据的计算装置，应用于在线业务系统；其中，所述在线业务系统搭载了基于python语言的算法运行环境以及算法库；所述装置包括：

获取模块，从对接的实时数据处理平台中获取实时业务数据；

生成模块，基于所述算法库中的目标算法为所述实时业务数据生成python计算任务；

下发模块，基于预设的调度策略为所述python计算任务分配计算节点设备，并将所述python计算任务下发至所述计算节点设备进行执行；