[发明专利]Gaia系统中面向融合计算的数据缓存装置与系统

说明书

本发明公开了Gaia系统中面向融合计算的数据缓存装置与系统，是在Gaia系统中修改数据源算子、数据shuffle虚算子、维表关联计算算子进行实现，涉及分布式大数据处理技术领域。具体包括：Gaia系统中面向融合计算的全量缓存装置和增量缓存装置、以及由若干全量缓存装置构成的分布式缓存系统、由若干增量缓存装置构成的分布式缓存系统和由若干全量缓存装置与增量缓存装置混合构成的分布式缓存系统。每一个装置和系统的应用都将提高Gaia计算系统的缓存扩展能力，扩充整个Gaia计算系统所能缓存的批数据规模上限，进而提高系统所支持的缓存数据上限，提升Gaia系统单位时间内的混合计算效率，降低批数据查询延迟，更有利于处理海量数据的计算。

技术领域

本发明涉及分布式大数据处理技术领域，具体涉及Gaia系统中面向融合计算的数据缓存装置与系统。

背景技术

Gaia系统是一个面向多计算模型混合并存的高时效、可扩展的新一代分布式大数据分析系统。在自适应与可伸缩的大数据存储、批流融合大数据计算、高维大规模机器学习和高时效大数据智能交互向导等大数据分析系统的几个核心层面，解决一系列关键技术问题，构建自主可控的高时效、可伸缩的新一代大数据分析系统，掌握国际领先的大数据分析系统核心技术。

Gaia系统针对批流融合任务具有全周期多尺度优化和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了Gaia系统。该技术为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型，实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点，提供面向多作业、多任务、迭代计算、持久计算等优化策略，优化针对性更强。同时，提供执行前和执行中的全周期优化，并细分为作业级、任务级、变换级等多个尺度，以实现极速响应和海量吞吐。

传统的批处理计算，每个计算阶段相互独立，单独等待和缓存自己的计算数据。每个阶段在计算过程中通常只需要顺序遍历缓存的数据就可以完成计算。同时在计算完成进入下一个阶段以后，当前阶段的数据就可以进行丢弃。传统的流式计算中，大部分场景不需要对数据进行缓存，对数据的计算是实时性的，在完成检查点后就可以丢弃。只有部分涉及到多流的计算需要缓存，缓存结构通常以基本的数组类型为主，查询方式多为遍历查询，由于数据量在每个计算周期中都比较小，查询缓存对系统的影响较小。在Gaia系统的融合计算中，与传统的批处理计算或流式计算不同，在一些融合计算场景中，批数据在处理完成以后需要长期缓存以供流式计算进行消费。这就导致融合计算中的数据既不能像批处理计算下使用完成即丢弃，这会导致部分计算需要的数据缺失；也不能像流式计算下，使用传统的数组类型存储并用遍历的方式进行查找，因为正常情况下，融合计算中的批数据集的数据规模是非常庞大的，在融合计算过程中遍历查询会严重影响流式计算效率。从而导致影响Gaia系统的数据吞吐量和计算延迟。

发明内容

本发明要解决的技术问题是针对上述传统计算引擎的不足，提供了Gaia系统中面向融合计算的数据缓存装置与系统，包括增量缓存装置、全量缓存装置以及由若干增量缓存装置和/或全量缓存装置构成的Gaia系统中面向融合计算的数据缓存系统，使用时针对数据规模和用途的不同，选择增量缓存装置、全量缓存装置或者Gaia系统中面向融合计算的数据缓存系统，以优化融合计算情况下的批数据读取速度、缓存规模、查询效率，匹配高速的流数据输入，从而提高Gaia系统的数据吞吐量并降低计算延迟。

为达到上述目的，本发明的技术方案为：

一种Gaia系统中面向融合计算的全量缓存装置，所述全量缓存装置，用于在批数据与流数据的融合计算过程中缓存全部来自外部数据源的数据，适用于Gaia计算系统所有运行节点的内存总和大于等于外部数据大小的情况。

进一步地，根据所述的Gaia系统中面向融合计算的全量缓存装置，所述全量缓存装置包括数据源模块和至少1个计算节点模块；