[发明专利]一种实时计算平台及基于实时计算平台的数据计算方法

说明书

技术领域

本申请涉及计算机通信领域，尤其涉及一种实时计算技术。

背景技术

随着大数据的发展，适用于离线计算的批处理框架，如MapReduce(一种离线计算框架)，已无法满足人们对大数据实时处理的需求。而实时计算平台提供了丰富的API、基于内存的高速执行引擎，从而使得结合流式、批处理和交互试查询的实时计算平台在大数据的实时计算中得到广泛地应用。

然而，实时计算平台的所进行的实时计算严重依赖于内存资源，随着实时计算平台处理的业务数据地不断增大，所带来内存资源的占用率过高，设备性能大大降低等问题已成为业界持续探讨的问题。

发明内容

有鉴于此，本申请提供一种实时计算平台及基于实时计算平台的数据计算方法，用以实现在计算时，将离线数据和实时数据分别进行独立计算，在实时可视化展示计算结果时，将离线数据与实时数据合并，从而降低了实时计算平台在进行数据计算时对内存资源的消耗，提高了设备性能。

具体地，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种实时计算平台，所述实时计算平台包括实时计算子系统、离线计算子系统，以及合并子系统，所述方法包括：

所述实时计算子系统，用于针对业务系统推送的新增业务数据进行实时计算，得到第一业务指标数据集合，并将该第一业务指标数据集合推送至合并子系统；

所述离线计算子系统，用于针对用户导入的新增离线业务数据进行离线计算，得到第二业务指标数据集合，并将该第二业务指标数据集合推送至合并子系统；

所述合并子系统，用于分别将所述第一业务指标数据集合和所述第二业务指标数据集合中指标类型相同的业务指标数据合并，并基于指标类型，将各合并的业务指标数据更新至第一数据库，以对所述各合并的业务指标数据进行可视化展示。

可选的，同一指标类型的业务指标数据的主键ID相同；

所述合并子系统，具体用于分别在所述第一业务指标数据集合和所述第二业务指标数据集合中查找主键ID相同的业务指标数据；将查找到的所述主键ID相同的业务指标数据进行合并。

可选的，所述合并子系统，进一步用于基于合并的业务指标数据的主键ID，在所述第一数据库中查找与该主键ID对应的原始业务指标数据；如果在所述第一数据库中查找到与该主键ID对应的原始业务指标数据，则将该合并的业务指标数据在该原始业务指标数据的基础上进行累加更新；如果所述第一数据库中未查找到与该主键ID对应的原始业务指标数据，则将该合并的业务指标数据添加至所述第一数据库。

可选的，所述实时计算子系统将得到的所述第一业务指标数据集合推送至第二数据库进行储存；

所述离线计算子系统将得到的第二业务指标数据集合推送至第二数据库进行储存。

可选的，所述合并子系统具体用于，如果所述第一数据库中存在异常业务指标数据时，接收针对所述第一数据库的异常业务指标数据的消息；查找与该异常业务指标数据对应的历史业务指标数据；将查找到的所述历史业务指标数据发送至第一数据库，以进行异常业务指标数据的修正。

根据本申请的第二方面，一种基于实时计算平台的数据计算方法，所述方法应用于实时计算平台，所述方法包括：

针对业务系统推送的新增业务数据进行实时计算，得到第一业务指标数据集合，并将该第一业务指标数据集合推送至合并子系统；

针对用户导入的新增离线业务数据进行离线计算，得到第二业务指标数据集合，并将该第二业务指标数据集合推送至合并子系统；其中，所述实时计算与所述离线计算彼此隔离；

分别将所述第一业务指标数据集合和所述第二业务指标数据集合中指标类型相同的业务指标数据合并，并基于指标类型，将各合并的业务指标数据更新至第一数据库，以对所述各合并的业务指标数据进行可视化展示。

可选的，同一指标类型的业务指标数据的主键ID相同；

所述分别将所述第一业务指标数据集合和所述第二业务指标数据集合中指标类型相同的业务指标数据合并，包括：

所述分别在所述第一业务指标数据集合和所述第二业务指标数据集合中查找主键ID相同的业务指标数据；

将查找到的所述主键ID相同的业务指标数据进行合并。

可选的，所述基于指标类型，将各合并的业务指标数据更新至第一数据库，包括：

基于合并的业务指标数据的主键ID，在所述第一数据库中查找与该主键ID对应的原始业务指标数据；