[发明专利]一种大数据异构存储计算模型间的统一互操作系统及方法

说明书

本发明公开了一种实现大数据异构存储计算模型间统一互操作的系统，该系统包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块，另外本发明还公开了一种基于该大数据异构存储计算模型间的统一互操作系统的操作方法，本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。

技术领域

本发明涉及信息处理技术领域，具体为一种大数据异构存储计算模型间的统一互操作系统及方法。

背景技术

大数据计算技术发展突飞猛进，相关的计算、存储模型层出不穷、不断演进，已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式。多样化的技术发展固然为业务应用的创新带来了更多的手段和可能，但也同样为大数据技术的普及形成了障碍，主要体现在以下几个方面：

1、不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性，使得用户在学习和使用过程中有较高的门槛；

2、基于不同的计算存储模型开发的应用互相之间基本没有互通的可能，从而造成业务数据被迫在系统间频繁迁移复制，降低了应用的效率；

3、应用和下层计算存储环境的紧耦合，造成应用无法通用化，从而对应用的维护和推广带来诸多的不便。

发明内容

针对背景技术中存在的问题，本发明提供了一种大数据异构存储计算模型间的统一互操作系统及方法。

为实现上述目的，本发明提供如下技术方案：一种大数据异构存储计算模型间的统一互操作系统，包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块；

所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配；

所述计算资源控制模块用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度；

所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理；

所述动态元数据管理模块用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；

所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力；

所述执行控制模块提供与运行环境的对接和动态控制。

作为本发明一种优选的技术方案，所述运行环境包括分布式引擎总线与平台计算资源。

本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法，包括如下步骤：

调用该系统的执行控制模块提供的拦截器，实现对原始作业任务的拦截与数据定位；

基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；

针对业务数据调用该系统的动态元数据管理模块，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；

对经所述动态元数据管理模块分离的静态数据与动态数据，调用该系统的数据控制模块，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；

通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排，实现对计算存储做业务任务的动态重构；