[发明专利]基于管道阻塞式的大数据计算调度系统及方法

摘要

本发明公开了一种基于管道阻塞式的大数据计算调度系统、方法及介质，其中系统包括：阻塞式管道、合并模块和存储模块；其中，阻塞式管道和合并模块连接，阻塞式管道用以实时获取计算任务调度请求，并根据计算任务调度请求建立与相应数据源之间的连接，以及在阻塞式管道中存储的计算数据数量未达到预设数量阈值时，通过与数据源之间的连接读取计算数据；合并模块用以通过与阻塞式管道之间的连接获取计算数据，并对计算数据进行数据合并；存储模块与合并模块连接，存储模块用以对合并后的计算数据进行持久化存储；能够在数据量较大的情况下，防止因内存溢出而导致计算任务无法执行问题的发生；保障计算任务的有序进行。