[发明专利]混合云平台的大数据处理框架编排系统及方法

摘要

本发明公开了一种混合云平台的大数据处理框架编排系统及方法，该系统包括：编排服务模块、混合云管理模块、基础设施资源模块、数据分析模块、数据处理模块、数据存储模块、数据集成模块，编排服务模块主要包括可视化界面模块、服务目录模块、流程执行器、资源优化模块等。本发明能够灵活调度混合云管理平台，支持用户通过移动端界面等多种直观操作形式，完成对大数据处理整体框架及细分任务的编排、执行工作，该框架需要满足用户的大数据处理领域的快速迭代要求。

主权项

一种混合云平台的大数据处理框架编排系统，其特征在于，其包括：编排服务模块，根据输入的大数据处理流程配置策略，调用混合云管理平台，申请纳管云堆栈中对应的计算、网络、存储等资源；混合云管理模块，与该编排服务模块相连，其用于按照针对特定大数据处理环节所需的调度策略，完成各类云资源的调度分配、权限管理、迁移、监控，完成大数据整体处理过程的效率优化；基础设施资源模块，与该混合云管理模块相连，其用于收集并且存储公有云、计算资源、存储资源以及网络资源，以供混合云管理模块完成管理；数据分析模块，与该编排服务模块相连，其用于深度处理分析数据，对已存信息进行多维度检索、分析，通过与系统各个模块通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在移动端界面展现分析结果及预测趋势；数据处理模块，与该数据分析模块相连，其用于编程模型的增删改建及后台管理，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载；数据存储模块，与该数据处理模块相连，其用于处理加载缓存中的数据信心，并导入对应后续模块，负责加工、预处理由下层传递上来的元数据，通过调用数据库相关API，实现对数据库资源的各项操作，并协同缓存数据管理、元数据管理，完成数据完成的存储流程操作；数据集成模块，与该数据存储模块相连，其用于将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块，将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录，以文件形式记录数据，并且将已保存的文件数据做存储优化等文件类型操作。