[发明专利]一种大数据异构存储计算模型间的统一互操作系统及方法有效
申请号: | 201910398977.6 | 申请日: | 2019-05-14 |
公开(公告)号: | CN110187869B | 公开(公告)日: | 2020-09-01 |
发明(设计)人: | 程道疆;项君;陈越;齐咏杰;彭力;李旭东;陈晓梅;黄若衡;刘强;王志强 | 申请(专利权)人: | 上海直真君智科技有限公司 |
主分类号: | G06F8/20 | 分类号: | G06F8/20 |
代理公司: | 上海海贝律师事务所 31301 | 代理人: | 范海燕 |
地址: | 200241 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 计算 模型 统一 操作系统 方法 | ||
1.一种大数据异构存储计算模型间的统一互操作系统的操作方法,其特征在于,包括如下步骤:
调用该系统的执行控制模块提供的拦截器,实现对原始作业任务的拦截与数据定位;
基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备;
针对业务数据调用该系统的动态元数据管理模块,通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位,并形成相应的数据引用,为回填目标计算模型时的适配和装换做准备;
对经所述动态元数据管理模块分离的静态数据与动态数据,调用该系统的数据控制模块,通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配;
通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排,实现对计算存储做业务任务的动态重构;
在形成面向异构目标计算存储作业的作业任务后,通过计算资源控制模块与执行控制模块提交对应的计算存储引擎,完成相关的计算和存储业务,实现异构模型间的统一互操作。
2.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统的 操作方法,其特征在于:所述静态数据为业务输入数据。
3.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统的 操作方法,其特征在于:所述动态数据为用户交互、配置参数及中间计算结果。
4.一种大数据异构存储计算模型间的统一互操作系统,用于实施权利要求1所述的方法,其特征在于:包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块;
所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配;
所述计算资源控制模块用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度;
所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理;
所述动态元数据管理模块用于实现管理和控制运行时的数据对象,以支撑容器间动态交互和数据交换的能力;
所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力;
所述执行控制模块提供与运行环境的对接和动态控制。
5.根据权利要求4所述的一种大数据异构存储计算模型间的统一互操作系统,其特征在于:所述运行环境包括分布式引擎总线与平台计算资源。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海直真君智科技有限公司,未经上海直真君智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910398977.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置