[发明专利]遥感数据的分布式处理系统在审
申请号: | 202310536829.2 | 申请日: | 2023-05-10 |
公开(公告)号: | CN116594977A | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 夏航;满远斌 | 申请(专利权)人: | 阿里巴巴达摩院(杭州)科技有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/29;G06F16/2458 |
代理公司: | 北京同钧律师事务所 16037 | 代理人: | 柴海平;许怀远 |
地址: | 310023 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 遥感 数据 分布式 处理 系统 | ||
1.一种遥感数据的分布式处理系统,其特征在于,包括:云服务器,
所述云服务器包括:
分布式存储系统,用于存储采集到的遥感数据;
接入节点,用于响应遥感数据处理请求,获取待计算的区域范围、待执行的处理逻辑和待处理的目标遥感数据的标识,基于地图空间划分的瓦片,将落入所述区域范围内的目标瓦片的标识分发给计算节点,并向所述计算节点发送所述目标遥感数据的标识及所述处理逻辑;
计算节点,用于根据分发到的目标瓦片的标识,从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块,并对所述数据块执行所述处理逻辑,得到所述目标瓦片内的数据块的处理结果;
所述接入节点还用于输出所述区域范围内的遥感数据处理结果,所述区域范围内的遥感数据处理结果包含各所述目标瓦片内的数据块的处理结果。
2.根据权利要求1所述的系统,其特征在于,所述接入节点获取待执行的处理逻辑和待处理的目标遥感数据的标识,包括:
所述接入节点接收待执行处理逻辑的函数抽象语法树,所述函数抽象语法树包含待处理的目标遥感数据的标识;
所述接入节点向所述计算节点发送所述目标遥感数据的标识及所述处理逻辑,包括:
所述接入节点解析所述函数抽象语法树,确定待执行的基本操作单元,以及所述基本操作单元的层级信息和依赖关系;
所述接入节点向所述计算节点发送各层级的基本操作单元及所述依赖关系。
3.根据权利要求2所述的系统,其特征在于,所述接入节点解析所述函数抽象语法树,确定待执行的基本操作单元,以及所述基本操作单元的层级信息和依赖关系,包括:
所述接入节点将所述函数抽象语法树所包含的对遥感数据的基本函数,解析为对应的基本操作单元;
根据所述基本函数间的依赖关系,确定所述基本操作单元的依赖关系和层级信息,其中,任一基本操作单元的输入来自上一层基本操作单元的输出,位于同一层级的基本操作单元间不存在依赖关系。
4.根据权利要求3所述的系统,其特征在于,所述根据所述基本函数间的依赖关系,确定所述基本操作单元的依赖关系和层级信息,包括:
将所述基本操作单元中的读操作放入第一个层级。
5.根据权利要求3所述的系统,其特征在于,所述计算节点根据分发到的目标瓦片的标识,从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块,并对所述数据块执行所述处理逻辑,得到所述目标瓦片内的数据块的处理结果,包括:
所述计算节点根据分发到的目标瓦片的标识,集中地执行第一层级的基本操作单元,从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块;
并根据所述依赖关系逐层执行第二及以下各层级的基本操作单元,且并行执行同一层级的基本操作单元,实现对所述数据块执行所述处理逻辑,得到所述数据块的处理结果。
6.根据权利要求3-5中任一项所述的系统,其特征在于,所述接入节点解析所述函数抽象语法树,确定待执行的基本操作单元,以及所述基本操作单元的层级信息和依赖关系之后,还包括:
所述接入节点根据所述待执行的基本操作单元,以及所述基本操作单元的层级信息和依赖关系,确定执行参数数组的长度及预分配信息,所述执行参数数组用于存储所述基本操作单元的输入数据和输出数据,所述预分配信息包含各所述基本操作单元的输入数据和输出数据在所述执行参数数组中的存储位置;
所述接入节点将所述执行参数数组的长度及预分配信息存储到元信息服务节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴达摩院(杭州)科技有限公司,未经阿里巴巴达摩院(杭州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310536829.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置