[发明专利]一种大数据计算方法及装置

说明书

本发明实施例提供了一种大数据计算方法及装置，其中，大数据计算方法，包括：获取大数据任务；从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；针对每个公共业务，获取对应的第一计算数据；将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

技术领域

本发明涉及大数据计算领域，特别是涉及一种大数据计算方法及装置。

背景技术

随着社会的进步和科技的发展，大数据big data作为科技时代的产物，也得到了广泛的应用。大数据big data是指无法在预设时间范围内用常规软件工具进行捕捉、管理和处理，需要更加复杂的新处理模式进行处理的数据集合。下面以大数据云服务平台作为大数据对应的产品为例。该大数据云服务平台包括：对象存储服务及关系型数据库。对象存储服务及关系型数据库分别会对云数据进行运算。将对象存储服务及关系型数据库的大数据的运算，看作为一个大数据任务。

目前利用大数据任务中各种业务数据对应的计算脚本，具体通过执行如下步骤实现对大数据的运算：

针对每个产品的大数据或者单个产品的多个大数据进行运算时，编码人员预先都对应于每个产品，编写各个业务数据所对应的计算脚本；在使用该产品时，利用该产品中各种业务数据对应的计算脚本完成对大数据的运算。示例性地，大数据任务中各个业务数据对应的计算脚本包括：对象存储服务对应的云数据处理计算脚本、对象存储服务对应的日志记录计算脚本、关系型数据库对应的云数据处理计算脚本及关系型数据库对应的日志记录计算脚本。对象存储服务会使用对象存储服务对应的云数据处理计算脚本，对云数据进行处理，产生日志；用对象存储服务对应的日志记录计算脚本，记录该日志；关系型数据库会使用关系型数据库对应的云数据处理计算脚本，对云数据进行处理，产生日志，用关系型数据库对应的日志记录计算脚本，记录该日志。

然而，发明人在实现本发明的过程中，发现现有技术至少存在如下问题：

现有技术针对一个产品一个产品编写对应的计算脚本。这些产品即使有相同业务，也是分开编写这些产品相同业务的计算脚本。比如对象存储服务及关系型数据库都有记录该日志的业务。针对记录该日志的相同业务，也是分开编写计算脚本。这样需要人工重复编写相同业务对应的计算脚本，浪费了人力，降低了业务处理的效率。

发明内容

本发明实施例的目的在于提供一种大数据计算方法及装置，以实现大数据任务对应的相同业务的计算脚本的重复使用，减少人工成本、提高业务处理的效率。具体技术方案如下：

第一方面，本发明实施例提供了一种大数据计算方法，包括：

获取大数据任务；

从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

针对每个公共业务，获取对应的第一计算数据；

将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

可选的，所述获取大数据任务，包括：